원본 영상: Lecture 6: Monty Hall, Simpson's Paradox | Statistics 110

이 강의에서 교수님은 2가지 이야기를 해주신다.

Monty Hall Problem, Simpson's Paradox

Monty Hall Problem

문이 3개가 있고, 2개의 문에는 염소가 하나의 문에는 스포츠 카가 있다고 한다. Monty Hall이 우리에게 먼저 문을 고를 수 있게 해주고, 우리가 문을 고르면 Monty Hall이 염소가 있는 문을 열어준다. 그 후, Monty Hall은 우리에게 문을 바꿀 기회를 준다. 스포츠카를 얻기위해서 우리는 고른 문을 바꿔야할 것인가. 아니면 원래 선택했던 데로 해야할 것인가.

=> Monty Hall은 확실하게 어떤 문 뒤에 뭐가 있는 지 알고있는 상황이다.

• Monty Hall이 각 문을 열 확률은 동일하다. (이 말은 즉슨, Monty Hall이 게을러서 자신과 가까이 있는 문을 열 확률이 더 높거나 그렇지는 않다는 것이다.)

만약, Monty가 2번 문을 열었다면, 우리는 거기에 염소가 있다는 사실만을 조건화 하는 것이 아닌, Monty가 2번 문을 연 사실 조건화 해야한다.

Tree Diagram

위의 그림을 살펴보면, 맨 처음에 선택한 문에 차가 있다는 가정을 해보면 문을 선택할 확률 1/3, Monty Hall이 염소가 있는 2개의 문중 하나를 선택할 확률 1/2를 곱하여 1/6이라는 결과가 나온다. 고로, 처음에 골랐던 문에 차가 존재할 확률은 1/6이 된다.
하지만, 우리가 처음에 고른 문에 차가 없다는 가정을 한다면, 우리가 처음에 문을 고를 확률 1/3 그리고 Monty Hall이 염소가 있는 문을 열어줄 확률은 1(하나는 무조건 차일 거니까)이다. 고로, 우리가 처음에 골랐던 문에 차가 없을 확률은 1/3이 되는 것이다.

** Monty가 2번 문을 열어주는 상황을 가정하면, 바꾸면 1/3, 안바꾸면 1/6이 되므로 전체 합이 1이 되도록 renormalize해주면, 바꿨을 때 차를 뽑을 확률은 2/3, 안바꿨을 때 뽑을 확률은 1/3이 되는 것이다.

• $P(Success\space if\space switch| Monty\space opens\space door\space 2)=\frac{2}{3}$

더 직관적으로 생각했을 때, 우리가 한 처음 선택이 맞을 확률은 1/3 이지만 틀릴 확률이 2/3이 되기때문에, 선택을 바꾸는 것이 좋다(Monty가 염소가 있는 문을 열어서 보여주기 때문에).

Conditional Probability

이전에는 수형도의 형태로 문제를 해결하였고, 이번에는 조건부 확률을 사용하여 문제를 해결해 보자.
그러기 위해서 우리는 LOTP(Law Of Total Probability)를 사용할 것이다.

• LOTP: 우리가 알고 싶어하는 것을 조건으로 세우자(이 문제에선 차의 위치를 알고 싶음)

• $S$: succeed(assuming switch) => 선택을 바꿨을 때 성공한 사건, 즉, 처음 선택한 곳에는 차가 없다고 가정.

• $D_j$: j문이 차를 갖고 있음. $j\in \{{1,2,3}\}$

  $P(S)=P(S|D_1)P(D_1)+P(S|D_2)P(D_2)+P(S|D_3)P(D_3)$

• $P(D_j)=\frac{1}{3}$이다.

• 우리는 무조건 첫 번째 선택한 문에 차가 없다고 가정했기 때문에,$P(S|D_1)=0, P(S|D_2)=1(Monty가\space 3번\space 문을\space 열어줌), P(S|D_3)=1(Monty가\space 2번\space 문을\space 열어줌)$ 이된다.

이걸 가지고 위의 식을 풀면, $0*\frac{1}{3}+1*\frac{1}{3}+1*\frac{1}{3}=\frac{2}{3}$ 가된다.

또한, $P(S|Monty\space opens\space 2)=\frac{2}{3}$이 된다고 한다.=> 사실 $P(S|Monty\space opens\space 2)$ 이 식이 직관적으로 이해가 잘 안되었는데, 내가 선택을 먼저하고 Monty가 2번 문을 열어줬을 때까지가 조건이라고 생각한다.

그리고, 직관적으로 봤을 때, 우리가 처음 선택한 문이 맞을 확률은 1/3이고 틀릴 확률은 2/3이다. 여기서, Monty가 하나의 문을 열어줬기 때문에, 나머지 문에 이 확률이 집중된다. 이걸 우리는 대칭성에 의해서 바꾸는 것이 더 확률이 높은 선택이 된다고 볼 수 있는 것이다.

• 대칭성에 의해 처음 선택이 맞을 확률 1/3 틀릴 확률 2/3
• Monty가 문을 열어주는 행위에 의해 대칭성이 깨짐. 우리가 처음 선택한 문이 맞을 확률 1/3 나머지 문 하나에 차가 있을 확률 2/3
• 고로, 바꾸는게 옳은 선택이 되는 거임.
• 문이 4개 이상일 때도 같은 결론에 도달함.

-> 결국 이 문제의 핵심은 원래의 확률에서 새로운 정보가 주어졌을 때, 우리는 확률을 다시 고려해봐야한다는 것이라고 생각됨.(만약, Monty가 문을 열어주는 정보가 없으면 그냥 1/3으로 똑같기 때문이다.)

Simpson's Paradox

** 사실 역설이라는 건 존재하지 않고, 사람들의 직관에 반대되는 것을 역설로 보는 것이다.(라고 말하심.)

이 강의에서 교수님은 다른 예시로 설명하시지만, 이해하기 쉽게 이미지를 넣어 두었다.
Simpson의 역설을 한마디로 말하자면 각 부분으로 보면 더 큰 경우가 전체적으로 보면 더 작게 된다는 느낌이다.(느낌적으로만 이렇다는 것)

위의 이미지를 예로 들어보면,

• $P(Drug\space A|Male)=30\%<P(Drug\space B|Male)=50\%$
• $P(Drug\space A|Male)=80\%<P(Drug\space B|Male)=90\%$
• $P(Drug\space A)=60\%>P(Drug\space B)=58.69\%$

조건부 확률을 따지면, Drug B가 더 효율적으로 보이지만, 비조건부 확률을 따지면 Drug A가 더 효율적으로 보인다.

Example: surgery

강의에서 나온 예제를 살펴보면,

• A: successful surgery
• B: treated by Dr.Nick($B^c$: Dr.Hilbert)
• C: heart surgery($C^c$: band-remove)

  $P(A|B,C)<P(A|B^c,C)$
  $P(A|B^,C^c)<P(A|B^c,C^c)$
  $P(A|B)>P(A|B^c)$

C는 confounder(교란)이다.(간단하게 통제하는 요소라고 생각하자)

By LOTP

$P(A|B) = P(A|B,C)P(C|B)+P(A|B,C^c)P(C^c|B)$

• $P(A|B,C) < P(A|B^c,C)$
• $P(A|B,C^c) < P(A|B^c,C^c)$ -> 여기까지만 보면, 아직 성립하지 않는다.
• $P(C|B),P(C^c|B)$: weight(가중치) => 가중치가 심슨의 역설이 일어나도록 해준다.($P(C|B)$: Nick이 심장수술을 성공할 확률)

=> 심슨의 역설을 보면, 우리가 확률을 따질 때, 무조건 전체적인 부분을 보고 판단하는 것이 아닌, 조건 부분 또한 생각을 해야하며, 조건의 가중치 즉, 조건의 중요도에 따라 생각을 해봐야할 것 같다.