Bayes 정리 완벽 정리! Prior, Likelihood, Posterior 한 번에 이해하기

확률 이론과 베이지안 통계에서 빠질 수 없는 Prior, Likelihood, Posterior 개념을 쉽게 정리해봅니다.
특히 Bayes 정리(Bayes’ theorem)를 이해하려면 꼭 알아야 하는 핵심입니다.

---

핵심 용어 한눈에 보기

용어	설명
Prior ($P(\theta)$)	데이터를 관측하기 이전의 믿음 또는 사전 지식
Likelihood ($P(D \mid \theta)$)	주어진 파라미터 $\theta$로부터 데이터 $D$가 관측될 가능도
Posterior ($P(\theta \mid D)$)	데이터를 보고 난 이후의 믿음, 즉 사후 확률

---

Bayes 정리 (Bayes’ Theorem)

Bayes 정리는 이렇게 표현됩니다:

• $\theta$: 파라미터 (예: 모델의 가중치)
• $D$: 관측된 데이터

항목	의미
$P(\theta \mid D)$	Posterior: 데이터를 본 후의 믿음
$P(D \mid \theta)$	Likelihood: 파라미터로부터 데이터가 나올 가능성
$P(\theta)$	Prior: 관측 전에 가진 믿음
$P(D)$	Evidence (또는 정규화 상수): 전체 데이터 가능성의 총합

---

간단한 예시: 동전 던지기

동전을 던지는 실험으로 쉽게 이해해봅시다.

• 가설 $\theta$: 동전이 앞면일 확률 (예: 0.5 또는 0.7)
• 데이터 $D$: 10번 던져서 앞면 7번, 뒷면 3번 나옴

Likelihood

→ “이 동전이 $\theta$ 확률로 앞면이 나온다면, 이런 데이터가 나올 확률은?”

Prior

즉, 모든 $\theta$ 값이 동등하게 가능하다고 가정.

Posterior

이 posterior는 Beta(8, 4) 분포 형태가 됩니다! (동전 던지기에서는 Beta 분포가 자주 등장)

---

직관적으로 비교해보기

개념	비유
Prior	“이 동전은 공정할 것 같아!”
Likelihood	“근데 실험해보니 앞면이 7번 나왔어. 어떤 동전일까?”
Posterior	“실험 결과를 보니, 앞면 확률은 대략 70%쯤 되겠다!”

---

딥러닝과의 연결고리

• Likelihood: 딥러닝에서 Cross-Entropy Loss는 사실 Negative Log-Likelihood.
• Posterior: Bayesian Neural Network에서는 weight의 posterior를 추정하려고 한다.
• MAP Estimation: Maximum A Posteriori는 posterior를 최대화하는 파라미터 추정 방법 (MLE는 likelihood만 최대화).

---

요약 정리

용어	의미
Prior	관측 이전의 믿음
Likelihood	주어진 파라미터로부터 데이터가 나올 확률
Posterior	데이터 관측 후 업데이트된 믿음
Bayes 공식	Posterior = Likelihood × Prior ÷ Evidence