Language Models(LMs)

: 단어 시퀀스(문장)에 확률을 할당하는 모델, 어떤 문장들이 있을 때, 기계가 이 문장은 적절해! 이 문장은 말이 안돼!라고 사람처럼 정확히 판단할 수 있다면, 기계의 자연어 처리 성능이 뛰어나다고 말할 수 있다.

1. probability(statistical) -> n-gram

• 통계에 기반한 전통적인 언어 모델
• 통계에 기반한 언어 모델은 우리가 실제 사용하는 자연어를 근사하기에 많은 한계가 있었음. 최근 인공 신경망이 그러한 한계를 많이 해결해주면서 통계 기반 언어 모델의 사용 용도가 많이 줄었음.
• P(transparent|its water is so) = Markov chain
  

2. Neural -> word embedding

3. Contextual -> transformer