파이썬 N-gram을 구해주는 tokenize 함수를 정의하고자 합니다.
조회수 1397회
안녕하세요 파이썬 함수에 대해 공부중에 있습니다.
tokenize란 함수를 정의하고자 하는데 매개변수중 N에 따라 2-gram 3-gram 변하게 될 함수를 만들려고 합니다.
def tokenize(trg, N=1):
a = a.split()
print(a)
for x in range(0,N+1):
for i in range(len(a) - N):
return (a[i+0], a[i + 1]) #2그램이면 a[i+0], a[i + 1] , 3그램이면 a[i+0], a[i + 1], a[i+2]
n-gram에 대한 전체적 이해는 하였습니다. return 할 것을 N에 따라 a[i]
이거나 a[i], a[i+1]
그 이상으로 표현해야 합니다.
이를 반복식으로 표현 하고자 for x in range(0,N+1):
이것을 넣었는데, 문자열도 아니기 때문에 어떻게 표현해야할지 모르겠습니다.
어떻게 표현해야 N의 변화에 따라 return을 바꿀수 있을까요?
댓글 입력