Lecture 4: Conditional Probability | Statistics 110

독립 (Independence)

두 사건 A, B가 서로에게 영향을 주지 않는다면 독립이라고 한다.

즉, 독립 = 교집합 확률을 각각의 확률을 곱해서 구할 수 있음.

독립 vs 배반

• 독립(Independent): 한 사건이 다른 사건의 발생 가능성에 영향을 주지 않음
• 배반(Disjoint): 한 사건이 일어나면 다른 사건은 일어날 수 없음

따라서 독립과 배반은 완전히 다른 개념이다.

• 동전을 두 번 던질 때 첫 번째 앞면과 두 번째 앞면 → 독립
• 동전을 한 번 던질 때 앞면과 뒷면 → 배반

독립은 서로 영향을 주지 않는 것, 배반은 동시에 일어날 수 없는 것이다.

여러 사건의 독립

세 사건 A, B, C가 독립이려면 모든 조합에 대해 곱셈 법칙이 성립해야 한다.

즉, 쌍으로 독립(Pairwise independent)인 것만으로는 충분하지 않다.

사건이 A₁, A₂, ..., Aₙ까지 n개 있다고 하자.

이때는 어떤 사건들을 선택하더라도 교집합의 확률이 각각의 확률을 곱한 것과 같아야 한다.

즉, 여러 사건을 어떤 부분집합으로 선택하더라도

가 성립해야 한다.

---

조건부 확률 (Conditional Probability)

통계학에서는 새로운 정보를 얻을 때마다 기존의 확률을 갱신(update)해야 한다.

어떤 사건 $A$가 일어날 확률을 알고 있었는데, 이후 $B$가 일어났다는 새로운 정보를 얻었다고 하자.

이때 관심 있는 것은 $B$가 일어났다는 조건에서 $A$가 일어날 확률이다.

이를 조건부 확률(conditional probability)이라고 한다.

---

조건부 확률의 정의

$B$가 일어났을 때 $A$가 일어날 확률을 $P(A\mid B)$로 나타낸다.

여기서 $\mid$는 "B가 일어났을 때"라는 의미이다.

단, $P(B)>0$이어야 한다.

즉, $B$가 일어났다는 정보가 주어졌을 때 $A$의 확률을 갱신하는 것이다.

조건부 확률은 $A$와 $B$가 독립이 아닐 때 유용하게 사용된다.

직관

$B$가 발생했다는 것을 알게 되면 이제 $B$ 밖의 결과는 고려할 필요가 없다.

따라서 가능한 결과를 $B$가 일어난 경우로 제한하고, 그 안에서 $A$가 발생하는 비율을 생각한다.

즉,

$B$가 일어난 세계만 남겨놓고, 그 안에서 $A$가 차지하는 비율

이 조건부 확률의 직관적인 의미이다.

---

예시

• 표본공간 S의 각 결과를 조약돌로 생각한다.
• 각 조약돌의 질량은 그 결과가 나올 확률이고, 전체 질량은 1이다.
• 사건 B는 조약돌들의 부분집합이다.

B가 일어났다고 가정하면 B 밖의 조약돌은 더 이상 고려하지 않는다.

따라서

B 밖을 제거 → B만 새로운 표본공간으로 사용

그런데 B 안의 전체 질량은 P(B)이므로, 다시 전체 질량이 1이 되도록 P(B)로 나누어 재정규화한다.

따라서

즉, 조건부 확률은 B가 일어났다는 정보를 얻은 뒤, 가능한 세계를 B로 제한하고 그 안에서 확률을 다시 1로 맞추는 것이다.

---

Thm 1: 곱셈법칙

조건부 확률의 정의

에서 양변에 $P(B)$를 곱하면

를 얻는다.

A와 B의 순서를 바꾸면

도 성립한다.

따라서 교집합의 확률은

한 사건의 확률 × 그 사건이 일어났을 때 다른 사건이 일어날 조건부 확률

로 계산할 수 있다.

---

Thm 2: 여러 사건의 곱셈법칙

두 사건에 대한 곱셈법칙을 여러 사건으로 확장할 수 있다.

$A_1,A_2,\cdots,A_n$이 모두 발생할 확률은

이다.

즉, 전체가 동시에 일어날 확률을 순서대로 하나씩 조건부 확률로 분해할 수 있다.

중요한 점은 사건의 순서를 바꿀 수 있다는 것이다.

예를 들어 $A_1$부터 시작할 수도 있고 $A_7$부터 시작할 수도 있다.

따라서 $n$개의 사건에 대해서도 사건의 순서를 바꾸어 다양한 곱셈 형태를 만들 수 있다.

Proof
주어진 식이 모든 자연수 $n$에 대해 성립함을 수학적 귀납법으로 증명하자.

먼저 $n=2$일 때, 조건부확률의 정의에 의해 $P(A_2\mid A_1)=\frac{P(A_1\cap A_2)}{P(A_1)}$이므로, $P(A_1\cap A_2)=P(A_1)P(A_2\mid A_1)$이 성립한다.

이제 어떤 자연수 $n$에 대해

$P(A_1\cap\cdots\cap A_n)=P(A_1)P(A_2\mid A_1)\cdots P(A_n\mid A_1\cap\cdots\cap A_{n-1})$

이 성립한다고 가정하자.

$n+1$일 때 조건부확률의 정의에 의해

$P(A_1\cap\cdots\cap A_n\cap A_{n+1})=P(A_1\cap\cdots\cap A_n)P(A_{n+1}\mid A_1\cap\cdots\cap A_n)$

이다.

여기에 귀납 가정을 대입하면

$P(A_1\cap\cdots\cap A_n\cap A_{n+1})=P(A_1)P(A_2\mid A_1)\cdots P(A_n\mid A_1\cap\cdots\cap A_{n-1})P(A_{n+1}\mid A_1\cap\cdots\cap A_n)$

을 얻는다.

이는 $n+1$일 때의 식과 같으므로, 수학적 귀납법에 의해 모든 자연수 $n$에 대해 주어진 식이 성립한다.

---

Thm 3: 베이즈의 정리 (Bayes' Rule)

곱셈법칙에 의해

이고, 사건의 순서를 바꾸면

이다.

두 식의 오른쪽을 같다고 놓으면

가 된다.

양변을 $P(B)$로 나누면

이를 베이즈의 정리(Bayes' Rule)라고 한다.

여기서 $P(A)$는 사전 확률, $P(A \vert{}B)$는 사후 확률이라고 한다. 새롭게 발견한 사건 B를 통해 A의 확률을 갱신하는 것이다.

---

베이즈의 정리의 의미

베이즈의 정리는 새로운 정보가 주어졌을 때 기존의 확률을 갱신하는 방법을 나타낸다.

즉,

기존의 확률 → 새로운 정보 → 갱신된 확률

이라는 구조를 수학적으로 표현한 것이다.

이러한 아이디어를 중심으로 하는 통계학의 분야를 베이지안 통계학(Bayesian statistics)이라고 한다.

출처
부스트코스
Statistics 110