[NLP] 통계적 언어 모델 : Statistical Language Model, SLM

통계적 언어 모델 : Statistical Language Model, SLM

1. 조건부 확률:

두 확률 P(A), P(B)에 대하여

n개의 확률에 대하여 : 연쇄 법칙(chain rule)

---

2. 문장에 대한 확률:

'An adorable little boy is spreading smiles'의 확률
이전 단어가 주어졌을 때 다음 단어로 등장할 확률의 곱으로 구성됨

---

3. 카운트 기반의 접근

확률을 구하기 위해 예측 확률을 모두 곱했다.
SLM은 카운트에 기반하여 확률을 계산한다

An adorable little boy가 나왔을 때, is가 나올 활률
즉, P(is|An adorable little boy)는

---

4. 카운트 기반 접근의 한계 - 희소 문제(Sparsity Problem)

카운트 기반으로 접근하려고 하면 갖고 있는 코퍼스가 정말 방대한 양이 필요하다.
데이터가 없다면 확률은 0이 된다.
정의되지 않는 확률이 정확한 모델링일까? 아니다.

위와 같이,
충분한 데이터를 관측하지 못하여 모델링하지 못하는 문제를 희소 문제(sparsity problem)이라고 한다.

---

당신의 시간이 헛되지 않는 글이 되겠습니다.
I'll write something that won't waste your time.