Tokenization (토큰화)
Spacy
spacy.load()
: 원하는 언어 모델 loadtoken.text
: 토큰화된 단어의 원형token.lemma_
: 토큰화된 단어의 어근token.pos_
: 토큰화된 단어의 품사spacy.lang.en.stop_words.STOP_WORDS
: 불용어 (자주 등장하지만 큰 의미가 없는 단어)Konlpy
코드(개인 확인용)
RNN Model
Embedding, RNN module, Projection을 포함
아키텍처
BPTT
loss 함수
clip_grad_norm 사용
코드(개인 확인용)
attention