Bayes Theorem

빈도주의 & 베이즈주의

• 통계학에서 확률을 해석하는 관점으로 두 관점이 있는데, 그 두 관점은 빈도주의와 베이즈주의 이다. 빈도주의는 연역적 추론에 해당하며, 베이즈주의는 귀납적 추론에 해당한다.
  
• 빈도주의
  • 확률을 사건의 빈도로 보며, 사건을 여러번 관측하여 발생한 확률을 검정한다.
  • 사건이 충분히 발생하지 못해, 표본이 부족할 경우 이러한 확률의 신뢰도가 떨어진다.
• 베이즈주의
  • 확률을 사건 발생에 대한 믿음/척도로 본다.

Bayes Theorem

• 사전확률(prior probability)과 사후확률(posterior probability)의 관계를 나타내는 정리이다.

  

  ⇒ likelihood, 사전확률(prior), 관측데이터(evidence)를 이용해서 사후 확률(posterior)을 예측하는 방법

  • $P(\theta|X)$ ⇒ posterior : observation이 주어졌을 때의 hypothesis의 분포
  • $P(X|\theta)$ ⇒ likelihood : 어떤 hypotesis를 가정했을 때, 데이터의 분포
  • $P(\theta)$ ⇒ prior : 사전에 가지고 있는 확률
  • $P(X)$ ⇒ marginal probability(evidence) : 데이터 X 자체의 분포