딥러닝을 이용한 자연어처리
1.한국어 tokenize가 어려운 이유
영어는 New York과 같은 합성어나 he's 와 같이 줄임말(구체적으로는 접어(clitic))에 대한 예외처리만 한다면, 띄어쓰기(whitespace)를 기준으로 하는 띄어쓰기 토큰화를 수행해도 단어 토큰화가 잘 작동한다. 거의 대부분의 경우에서 단어단위로 띄어쓰
2021년 3월 10일
영어는 New York과 같은 합성어나 he's 와 같이 줄임말(구체적으로는 접어(clitic))에 대한 예외처리만 한다면, 띄어쓰기(whitespace)를 기준으로 하는 띄어쓰기 토큰화를 수행해도 단어 토큰화가 잘 작동한다. 거의 대부분의 경우에서 단어단위로 띄어쓰