khaiii를 사용하여 tokenizing하기
카카오 형태소 분석기
from khaiii import KhaiiiApi
api = KhaiiiApi()
token_list = []
for word in api.analyze('원하는 문장을 넣으세요.'):
for x in word.morphs:
token_list.append(x.lex)
print(token_list)
>>> ['원하', '는', '문장', '을', '넣', '으시', '어요', '.']