Pytorch LSTM Implementation Code
본 내용은 'Natural Language Processing with Dan Jurafsky and Chirs Manning, 2012'의 내용을 다룹니다.
Language Modeling & N-gram
NLP 분야 task를 진행할 때, 데이터가 모자란 상황에서는 어떻게 접근해야 할까요?
N-gram Modeling을 할 때 Count형식으로 확률을 계산하면 거의 0이 나온다. 샤넌 시각화 방법은 우리가 만든 n-gram model에 대해 여러 가지 정보를 제공한다.가령, 셰익스피어를 기반으로 생성된 모델을 살펴보자.문제는, 셰익스 피어 내에 존재하는