표제어추출, 어간추출 단어의 구성 = 어간(stem) + 접사(affix) "표제어"는 사전에 등장하는 단어 "어간"은 사전에 등장하지 않을 수도 있음. 의미를 가지는 단의 부분 아쉽지만 soynlp의 경우 한글 용언에대해서만 표제어추출을 지원
Attention is all you need 구글에서 발표 CNN이나 RNN을 사용하지 않고 Attention만을 이용 Transformer 네트워크 구조 Scaled-Dot Product attention 사용 Scaled-Dot Product를