Lecture 5: Conditioning Continued, Law of Total Probability | Statistics 110

조건부 확률의 활용

확률은 불확실성과 무작위성을 다루는 도구이다.

복잡한 문제를 한 번에 해결하기보다, 조건을 추가하여 문제를 작은 문제로 나누는 것이 중요하다.

---

표본공간의 분할 (Partition)

표본공간 $S$를 서로 겹치지 않는 사건 $A_1,\dots,A_n$으로 나누었다고 하자.

즉, $A_i\cap A_j=\varnothing \quad (i\neq j)$이고 $A_1\cup A_2\cup\cdots\cup A_n=S$이다.

사건 $B$는 각각의 $A_i$와 동시에 발생하는 경우들로 나눌 수 있으므로,$P(B)=P(A_1\cap B)+\cdots+P(A_n\cap B)$이다.

곱셈법칙에 의해 $P(A_i\cap B)=P(B\mid A_i)P(A_i)$이므로,

$P(B)=\sum_{i=1}^n P(B\mid A_i)P(A_i)$

이를 전체확률의 법칙 (Law of Total Probability)이라고 한다.

복잡한 사건 $B$를 여러 개의 간단한 조건 $A_i$로 나누어 각각의 확률을 계산하는 것이 핵심이다.

---

조건부 확률의 중요한 이유

조건부 확률은 어떠한 단서가 있을 때, 그 단서를 기반으로 확률을 갱신하는 행위로서 중요하다.

또한 $P(B)$같은 비조건부 확률이 필요하더라도, $P(B)$를 쉽게 구하기 위해서는 작은 조각들로 쪼개는 조건부 확률이 필요하다.

---

예제: 두 장의 카드와 조건부 확률

52장의 카드에서 2장을 뽑는다고 하자.

문제 1

적어도 한 장이 에이스라는 조건이 주어졌을 때, 두 장 모두 에이스일 확률을 구해보자.

에이스는 총 4장 있다.

$P(\text{둘 다 에이스}\mid\text{적어도 한 장이 에이스})=\frac{P(\text{둘 다 에이스, 적어도 한 장이 에이스})}{P(적어도 한 장이 에이스)} = \frac{P(\text{둘 다 에이스)}}{P(적어도 한 장이 에이스)} = \frac{\binom{4}{2}/\binom{52}{2}}{1-\binom{48}{2}/\binom{52}{2}} = \frac{1}{33}$

문제 2

이번에는 첫 번째 카드가 스페이드 에이스라는 조건이 주어졌다고 하자.

스페이드 에이스가 특정되었으므로, 나머지 한 장은 51장 중 하나이다.

그중 에이스는 3장 남아 있으므로,

$P(\text{둘 다 에이스}\mid\text{첫 번째 카드가 스페이드 에이스})=\frac{3}{51}=\frac{1}{17}$

두 문제의 차이는 조건에 있다.

• 적어도 한 장이 에이스: 어떤 카드가 에이스인지 특정하지 않는다.
• 스페이드 에이스: 특정한 한 장의 카드가 주어진다.

따라서 조건부 확률에서는 정확히 어떤 정보가 주어졌는지를 확인해야 한다.

---

예제: 질병 검사와 베이즈의 정리

질병이 있는 사건을 $D$, 검사 결과가 양성인 사건을 $T$라고 하자.

질병의 유병률이 $1\%$라고 하면 $P(D)=0.01$이다.

검사에 대해 다음 조건을 가정하자.

• 질병이 있을 때 양성일 확률: $P(T\mid D)=0.95$
• 질병이 없을 때 음성일 확률: $P(T^c\mid D^c)=0.95$

따라서 $P(T\mid D^c)=0.05$이다.

우리가 알고 싶은 것은 양성 결과가 나왔을 때 실제로 질병이 있을 확률인 $P(D\mid T)$이다.

베이즈의 정리에 의해 $P(D\mid T)=\frac{P(T\mid D)P(D)}{P(T)}$이다.

전체확률의 법칙을 이용하면 $P(T)=P(T\mid D)P(D)+P(T\mid D^c)P(D^c)$이므로,

$P(D\mid T)=\frac{0.95\times0.01}{0.95\times0.01+0.05\times0.99}\approx0.16$

즉, 검사 결과가 양성이더라도 실제로 질병이 있을 확률은 약 16%이다.

여기서 중요한 것은 검사 성능뿐만 아니라 질병의 유병률도 함께 고려해야 한다는 것이다.

사람은 질병이 있거나 없을 것이다. $D$와 $D^c$는 서로 겹치지 않으면서 union이 표본공간이기에, 표본공간을 분할하고 있다고 볼 수있다. 따라서 전체확률의 법칙을 사용할 수 있다.

---

빈도학파적 직관

1000명의 사람이 있다고 생각해보자.

질병의 유병률이 $1\%$이므로 약 10명이 질병을 가지고 있다.

이 중 95%가 양성이므로 약 9.5명이 양성이다.

질병이 없는 990명 중 5%가 위양성이므로 약 49.5명이 양성이다.

따라서 전체 양성자 중 실제 환자의 비율은 $9.5/(9.5+49.5)\approx0.16$이다.

즉, 질병이 드물수록 위양성의 영향이 커질 수 있다.

---

베이즈 갱신의 일관성

새로운 정보를 한 번에 모두 사용하여 확률을 갱신하든, 정보를 하나씩 순차적으로 사용하여 갱신하든 최종 결과는 같다.

즉, 올바른 조건부 확률을 사용한다면 한 번에 갱신하는 것과 순차적으로 갱신하는 것은 일관된 결과를 준다.

---

조건부 확률에서 자주 하는 실수

$P(A\mid B)$와 $P(B\mid A)$를 혼동

일반적으로

$P(A\mid B)\neq P(B\mid A)$

이다.

예를 들어 질병 검사에서는

$P(T\mid D)$와 $P(D\mid T)$는 전혀 다른 확률이다.

• $P(T\mid D)$: 질병이 있을 때 양성이 나올 확률
• $P(D\mid T)$: 양성이 나왔을 때 실제로 질병이 있을 확률

---

사전확률과 사후확률

새로운 정보를 얻기 전의 확률을 사전확률(prior)이라고 한다.

$P(A)$

새로운 정보 $B$를 얻은 후 갱신된 확률을 사후확률(posterior)이라고 한다.

$P(A\mid B)$

베이즈의 정리는 새로운 정보를 이용하여 기존의 믿음을 갱신하는 과정으로 볼 수 있다.

$P(A\mid B)=\frac{P(B\mid A)P(A)}{P(B)}$

---

독립과 조건부 독립

두 사건 $A,B$가 독립이라는 것은 $P(A\cap B)=P(A)P(B)$를 의미한다.

조건부 독립은 어떤 조건 $C$가 주어졌을 때 두 사건이 독립이라는 의미이다.

$P(A\cap B\mid C)=P(A\mid C)P(B\mid C)$

---

조건부 독립 $\neq$ 독립

조건부 독립이라고 해서 반드시 독립인 것은 아니다.

예를 들어 체스 선수의 실제 실력 $S$를 모른다고 하자.

선수의 실력 $S$가 주어지면 각 경기의 결과를 독립적으로 모델링할 수 있다.

하지만 $S$를 모르는 상태에서는 이전 경기의 결과를 통해 선수의 실력에 대한 정보를 얻게 된다.

따라서 이전 경기의 결과가 이후 경기의 결과에 대한 예측에 영향을 줄 수 있다.

즉, 숨겨진 변수 $S$가 주어졌을 때는 경기 결과들이 독립이더라도, $S$를 모르는 상태에서는 한 경기의 결과가 다른 경기의 결과를 예측하는 데 영향을 줄 수 있다.

---

조건부 확률이 독립성을 깨뜨릴 수도 있다

반대로 원래 독립이었던 사건들이 특정 조건을 관찰한 후에는 의존하게 될 수도 있다.

실제 화재를 $F$, 팝콘이 터지는 사건을 $C$, 화재 경보가 울리는 사건을 $A$라고 하자.

화재가 발생하거나 팝콘이 터지면 경보가 울린다고 하자.

화재 $F$와 팝콘 $C$가 서로 독립이라고 하더라도, 경보 $A$가 울렸다는 조건을 추가하면 상황이 달라진다.

특히 경보가 울렸는데 팝콘이 터지지 않았다면 $P(F\mid A,C^c)=1$이다.

즉, 조건을 추가함으로써 원래 독립이었던 사건들 사이에 관계가 생길 수 있다.

이를 explaining away라고 한다.

---

조건부 독립의 핵심

조건부 독립에서는 무엇을 조건으로 삼느냐가 중요하다.

• 독립: 조건 없이 서로 영향을 주지 않음
• 조건부 독립: 특정 조건이 주어졌을 때 서로 영향을 주지 않음
• 독립인 사건도 조건을 추가하면 의존하게 될 수 있음
• 조건부 독립인 사건도 조건을 제거하면 의존할 수 있음

따라서 확률에서 독립성을 판단할 때는 항상 어떤 정보가 주어진 상태인지를 확인해야 한다.

출처
부스트코스
Statistics 110