MAP(최대사후법), ML(최대우도법) test

작은 암실에 빨간색, 파랑색 주사위 중 하나를 던진다고 하자.

빨간 주사위를 던질 확률은 $p$, 파랑 주사위를 던질 확률은 $q$이다. 일단 $p=q=0.5$ 로 두자. 암실은 어둡기 때문에 색 구분은 불가능하지만 주사위에 적힌 숫자는 알아볼 수 있다. Probability Space를 구성해보면, Sample Space는 다음과 같이 정의된다.

주사위를 던지는 사람 입장에서의 Sample Space S는 다음과 같을 것이다.

괄호 안 괄호는 outcome을 partition을 통해 동일한 클래스로 분류한 것이다. 즉 괄호 안 객체들은 동일한 outcome으로 분류된다.

암실을 관찰하는 사람 입장에선 Sample Space S'는 다음과 같다.

만약 우리가 주사위의 색이 빨강임을 알고 있다면, Sample Space는 다음과 같다.

반대로, 우리가 주사위의 색이 파랑임을 알고 있다면, Sample Space는 다음과 같다.

MAP, ML 테스트는 Sample Space가 무엇이냐에 따라 달라진다. $S_{\theta}$, $S_o$ 는 S 를 partition한 Sample Space이고, $\textcolor{blue}{S_{o, b}}$, $\textcolor{red}{S_{o, r}}$ 는 S 에서 파생된 Sample Space이다. 가장 먼저 정의한 Sample Space $S$는 가장 많은 정보를 가지고 있다. 하지만 우리가 알고 있는 정보는 대부분 partition이 된, 부분적인 정보들이다. MAP 테스트와 ML 테스트 모두 암실에서 관찰한 숫자가 주어졌을 때 주사위의 색깔을 맞추는 목적을 가지고 있다.

예를 들어, Sample Space $S$ 의 outcome에 배정된 weight가 다음 표와 같다고 가정해보자.

Table 1:

Figure 1:

암실을 관찰하는 사람의 이름이 A라고 하자. A는 주사위에 적힌 숫자가 4임을 관찰했다.이때, S'의 weight는 주어진 숫자에 대해 색깔 구분이 불가능하므로 다음과 같이 합쳐질 것이다.

Figure 2:

이 주어진 숫자 4를 통해 A는 주사위의 색깔을 맞춰야 한다면, A는 어떻게 의사결정을 하는 것이 좋을까?

1. Maximum Likelihood test

지금부터 서술할 ML test, MAP test 모두 관찰한 숫자를 보고선 주사위의 색깔을 맞추는 일차적인 목적을 가지고 있음을 기억해야 한다. 이 때, 빨강, 파랑 두 색깔의 주사위를 던지는 행위를 확률 공간으로 표현했을 때, 그 공간을 Prior(확률 변수는 $\theta$)라고 하고, 숫자를 관찰하는 행위를 확률 공간으로 표현했을 때, 그 공간을 Evidence(확률 변수는 $x$)라고 하자. 따라서 ML test, MAP test 모두 Evidence를 통해 역으로 Prior을 추론하고 싶은 목적을 가지고 있는 것이다.
하지만 두 방식의 방법론은 약간씩 다르다. ML test는 두 주사위의 weight distribution의 모양을 동등하게 놓고 비교하여 가장 가능성 있는 색깔을 채택하는 방식을 취하고 있다. (i.e., $P[\theta=\textcolor{red}{Red}]= P[\theta=\textcolor{blue}{Blue}]=0.5$).예를 들어 던진 주사위의 색이 빨간색이라고 가정해보자. 그렇다면 빨강 주사위에 대한 Sample Space는 위에서 정의한 대로 다음과 같을 것이다.

이 Sample Space에 대한 Probability measure 은 조건부 확률 $P[x|\theta=\textcolor{red}{Red}] =\frac{P[x, \theta=\textcolor{red}{Red}]} {P[\theta=\textcolor{red}{Red}]}$으로 정의된다. 따라서 표 1에서 빨강 숫자들의 weight들은 2배만큼 팽창할 것이다. 이를 표로 표현하면 다음과 같다.

Table 2:

또한 weight distribution의 모양은 다음과 같다.

Figure 3:

반대로, 던진 주사위의 색이 파란색이라고 가정해보자. 그렇다면 파랑 주사위에 대한 Sample Space는 다음과 같다.

이 Sample Space에 대한 Probability measure 은 조건부 확률 $P[x|\theta=\textcolor{blue}{Blue}] =\frac{P[x, \theta=\textcolor{blue}{Blue}]} {P[\theta=\textcolor{blue}{Blue}]}$으로 정의된다. 따라서 표 2의 파랑 숫자들의 weight들은 마찬가지로 2배만큼 팽창할 것이다. 이를 표로 표현하면 다음과 같다.

Table 3:

Figure 4:

빨간색 그래프의 4에 대한 weight값과 파란색 그래프의 4에 대한 weight값을 비교해보자. 빨간색의 경우 4/21이고, 파란색의 경우 3/21이다. 두 모양을 비교해봤을 때, 혹자는 주사위의 색이 빨강이라고 추론하는 것이 타당하다고 말할 수 있을 것이다. 쉽게 예를 들어 농구 게임에서 4번 선수가 골을 넣었다는 정보를 알고 있다고 하자. A팀의 4번 선수는 영 시원찮은데, B팀의 4번 선수는 에이스이다. 그렇다면, 당연히 B팀이 득점을 했다고 생각하는 것이 타당할 것이다. 이렇게 Prior 에 대한 사건들을 동등한 선에 두고선, 그 모양을 비교해 θ 를 추론하는 방식을 ML test라고 한다. 이는 다음과 같이 표현할 수 있다.

2. Maximum A posteriori Probability test

'4번이 득점을 했는데... 내 기억엔 왼쪽에서 환호성이 들렸어!'

MAP test는 outcome이 주어지고, 빨강 주사위를 던질 확률 p와 파랑 주사위를 던질 확률 q를 알고 있을 때 사용하는 의사결정 방법이다. ML test와의 차이점이라면, ML test는 파랑 주사위와 빨강 주사위를 던질 확률을 동등선상에 놓고 비교했다면, MAP test는 이에 대한 가정을 다르게 잡는다는 것이다. 가정을 바꿔서, 사실 빨강 주사위를 던질 확률은 애초에 0.4였고, 파랑 주사위를 던질 확률은 0.6이었다고 해보자. 그렇다면 S 에 대한 weight 정보는 다음과 같이 수정되어야 할 것이다.

Figure 5:

암실에서는 다음과 같이 확률이 섞이게 된다.

Figure 6:

예민한 독자라면 우리가 암실에서 숫자 4를 관찰했을 때, 주사위의 색은 파랑이라고 추론하는 것이 타당하다는 것을 직감적으로 알 수 있을 것이다. θ 에 대한 선험적인 지식을 알고 있기 때문에, 이 게임이 얼마나 치우처져 있는지 이미 직감하고 있는 것이다. 숫자 4가 주어졌을 때, 다음과 같은 부등식이 성립한다.

따라서 MAP test 방식을 아는 사람은 판돈을 파랑 주사위에 걸 것이다. θ 에 대한 정보를 알고 있다면 MAP test를 사용하면 된다. 하지만 Sample의 개수가 충분해 Prior에 대한 정보가 필요 없다면 ML test를 택하면 된다.