베이즈 정리

조건부 확률

조건부확률이란 어떠한 조건이 주어졌을 때 사건이 발생할 확률을 의미한다.
Ex) $P(A|B) = P(A\cap B)/P(B)$

베이즈 정리

위의 식을 변형하면 $P(A \cap B) = P(B)P(A|B)$로 나타낼 수 있다.
$P(A \cap B) = P(B \cap A)=P(B)P(A|B) = P(A)P(B|A)$
$P(B|A) = P(B)P(A|B)/P(A)$

이 식을 베이즈 정리라고 한다.

1번 병에는 흰공이 9개, 파란공이 3개
2번 병에는 흰공이 5개, 파란공이 10개
3번 병에는 흰공이 3개, 파란공이 3개
주머니에는 1번 카드 1개, 2번 카드 4개, 3번 카드 3개
이 있다고 하자 먼저 주머니에서 카드를 뽑아 해당되는 병에서 공을 꺼내는 문제이다.

하얀 공이 나왔다는 사실만 알고 어느 병에서 나왔는 지 모르는데, 어느 병인지 추정해보자

$P(1, white), P(2, white), P(3, white)$을 계산한 다음 가장 큰 값을 가지는 병 번호를 선택하는 전략으로 풀 수 있다.

$\hat{y}=argmax_yP(y|x)$

$\hat{y}=argmax_yP(y|x=하양)=argmax_yP(x=하양|y)P(y)/P(x=하양)$

위의 식에서 P(x=하양)은 y와 무관하기 때문에 생략이 가능하다.

$P(1|하양) = P(하양|1)P(1)/P(하양) = 9/43$
$P(2|하양) = P(하양|2)P(2)/P(하양) = 16/43$
$P(3|하양) = P(하양|3)P(3)/P(하양) = 18/43$

$P(y|x)$ 공의 색 x를 관찰했다면 이미 사건이 벌어진 후이므로 사후확률이라고 한다.
$P(y)$는 사건 X와 무관하게 미리 알 수 있으므로 사전확률이라 하고 $P(x|y)$를 우도(likelihood)라고 한다.

확률과 우도의 차이점은 확률은 분포가 주어진 상태에서 데이터가 관측될 확률이라면,
우도는 데이터(관측값)이 주어졌을 때 어떤 확률 분포에서 왔을 지에 대한 확률이라고
할 수 있다.

최대 우도법

이번에는 공을 뽑았는데 파,흰,흰,파,흰,파,흰,흰,파,파,흰,흰을 얻었다고 하자
이 때, 파란공의 확률을 추정해보자
파란공의 확률을 정하면 흰공의 확률은 1 - 파란공의 확률이 된다.

데이터 X를 얻었을 때, 가능성을 최대로 하는 매개변수 $\theta$를 찾아라
X는 위의 관측된 공의 색상을, 매개변수는 파란공의 확률이 된다.

$\hat{\theta} = argmax_\theta P(X|\theta)$

$P(X|\theta) = P(x_1, x_2, ..., x_n | \theta) = \prod_{i=1}^N P(x_i|\theta)$
위의 식은 계산하기가 어려우므로 곱을 나눠줄 수 있고 단조증가함수인 log를 붙혀 사용한다.
그래서 최대 로그우도 추정이라는 주로 사용한다.

$\hat{\theta} = argmax_\theta logP(X|\theta) = argmax_\theta \sum_{k=1}^N logP(x_i|\theta)$

참고 : 기계학습(저자 오일석)