4-3. Bayesian Inference Example

본 글은 K-MOOC의 인공지능 수학 고급(Advanced Mathematics for AI) 강의를 듣고 요약한 글입니다.

Example

패스트푸드 체인점이 커피 원두의 종류를 바꾸려고 하고 있다.

새로운 원두의 소비자 선호도를 조사하기 위해서 회사는 무작위로 $n=100$의 커피 소비자 표본을 만들었다.

컵에는 $A$와 $B$로 마킹을 해두었다.

새 원두를 $A$에, 기존 원두를 $B$에 넣어 두고, 절반의 시간이 흐른후 $A$와 $B$의 순서를 바꿔두었다.

이 때, 두 원두에 대한 선호도 차이를 조사하려고 한다.

Model

• $\theta$: 소비자가 새 원두를 고를 확률
• $X_1, \ldots, X_n$: 베르누이 분포에 의한 무작위 표본 (성공과 실패에 대한 분포이기 때문에 베르누이 분포가 적절하다.)
  $P(x_i|\theta) = \theta^{x_i}(1-\theta)^{1-x_i} P(x_i|\theta) = \prod^n_i\theta^{x_i}(1-\theta)^{1-x_i}$

Prior

Beta distribution

이 모양은 베르누이 분포의 모양과 유사하다.

Posterior

원래 분모도 함께 계산을 해줘야 하지만, 분모는 영향을 주지 않기 때문에 분자만 계산하자.

• 이 결과 이 모양이 베타 분포와 비슷하다는 것을 알 수 있다. ($Beta(\alpha', \beta')$)
• $\alpha' = \alpha + \sum_ix_i$
• $\beta' = \beta+n-\sum_ix_i$

Conjugate Prior

이렇게 Prior과 Posterior가 같은 분포 그룹에 속하게 되면 이때의 Prior를 Conjugate Prior, 켤레사전분포라고 부른다.

대표적인 분포 그룹의 예로 Exponential Family가 있다.

• Normal, Exponential, Gamma, Beta, Bernoulli, Dirichlet, Categorical, Poisson, Geometric

즉 여기에서는 베타분포가 베르누이 모델의 켤레사전분포가 되는 것이다.

• Conjugate Prior는 매우 편리하다.
• 하지만 Conjugate Prior가 있는 모델이 있고 없는 모델이 있다.
• 따라서 Conjugate Prior가 포함되는 모델을 만든다면, 이를 후에 계산할 때 훨씬 간편하다는 장점이 있다.