khaiii를 사용하여 tokenizing하기

카카오 형태소 분석기

from khaiii import KhaiiiApi
api = KhaiiiApi()

token_list = []
for word in api.analyze('원하는 문장을 넣으세요.'):
  for x in word.morphs:
    token_list.append(x.lex)

print(token_list)
>>> ['원하', '는', '문장', '을', '넣', '으시', '어요', '.']