원본 영상: Lecture 4: Conditional Probability | Statistics 110

이전 포스트에서 언급한 Matching Problem에 대해서 말해보면, 우린 결국 $P(\cup^n_{j=1}A_j)$를 구하는 걸로 생각할 수 있었다.
이를 구하기위해,

• $P(A_1\cap A_2\cap ... \cap A_k)=\frac{(n-k)!}{n!}$, 각 항목들에 대해 $\binom{n}{k}= \frac{n!}{(n-k)!k!}$인 애들이 곱해짐. 우리가 보고 있는 matching problem이 확률적 대칭성을 갖기 때문에 가능.

고로

• $P(\cup^n_{j=1}A_j) = 1-\frac{1}{2!}+\frac{1}{3!}-...+(-1)^{n+1}\frac{1}{n!} \approx 1-\frac{1}{e}$

가 되며, 반대의 경우 즉 아예 카드의 위치가 match가 안될 확률은

• $P(no\space match)= P(\cap^n_{j=1}A_j^c)=1-1+\frac{1}{2!}-\frac{1}{3!}+...+(-1)^n\frac{1}{n!} \approx \frac{1}{e}$
  *union의 complement는 interesection이다.

Symmetry(대칭성): 각 사건들이 갖을 확률을 갖게 보는 가정.
Ex. 동전의 앞면과 뒷면, 주사위의 각면...

Independence

Definition

A와 B라는 사건이 있을 때, $P(A\cap B)=P(A)P(B)$라면, 두 사건이 독립(independent)이다.
-> 독립이라는 걸 말로 풀어 설명하면, 사건 A가 발생했을 때, B는 발생할 수도 발생을 안할 수도 있다 사건 A가 사건 B에 영향을 주지 않는다는 것.

주의해야할 점: disjointness와는 다른 개념. Disjointness는 A가 발생하면 B는 무조건 발생하지 못하는 경우를 말한다.

앞으로 교집합(intersection)을 ' , '로도 표현한다.

고로, 만약 사건 A, B, C에 대해서, $P(A, B)=P(A)P(B),\space P(A, C)= P(A)P(C),\space P(B, C) = P(B)P(C),\space P(A,B,C)=P(A)P(B)P(C)$라면, 사건 A, B, C는 서로 독립이라고 말할 수 있다.

쉽게 생각하면 독립은 확률의 곱셈을 의미한다.

Newton-Pepys Problem(example)

• Assumption: 공정한 주사위(symmetry)

사건들
(A): 주사위를 6번 던졌을 때, 적어도 한 번은 6의 주사위가 나올 확률.
(B): 주사위를 12번 던졌을 때, 적어도 두 번은 6의 주사위가 나올 확률.
(C): 주사위를 18번 던졌을 때, 적어도 세 번은 6의 주사위가 나올 확률.

이 3 가지의 사건을 보았을 때, 어떤 사건의 확률이 가장 높을 것으로 보이는가?
(C)의 사건이 가장 높은 확률처럼 보이는 사람도 있을 수 있다.

하지만, (A)의 사건의 확률이 가장 높은데 이제 각각 사건의 확률을 구해보면.

바로 사건의 경우의 수를 구하기 보단 적어도라는 말이 나왔으니 그냥 여사건으로 구하느넥 더 편할 것이다.

$P(A)=1-(\frac{5}{6})^6 \approx 0.665$

• 아예 6이 안나올 확률을 전체 확률에서 빼준 것.

$P(B)=1-(\frac{5}{6})^{12}-\binom{12}{1}(\frac{1}{6})(\frac{5}{6})^{11} \approx 0.619$

• 첫 번째 항: 아예 6이라는 주사위가 안나올 확률
• 두 번째 항: 12번의 주사위중 하나만 6이 나왔을 확률

$P(C)= 1-\sum^2_{k=0}\binom{18}{k}(\frac{1}{6})^k(\frac{5}{6})^{18-k}=1-(\frac{5}{6})^{18}-\binom{18}{1}(\frac{1}{6})(\frac{5}{6})^{17}-\binom{18}{2}(\frac{1}{6})^2(\frac{5}{6})^{16} \approx 0.597$

• 위와 같은 논릴로 binomial probability로 나타낼 수 있다.

---

Conditional Probability

조건부 확률: How should you update probability/beliefs/uncertainty based on new evidence?

Definition

$P(A|B)=\frac{P(A\cap B)}{P(B)}, if\space P(B)>0$

• B가 주어졌을 때, A가 발생할 확률,
• 이 식을 따졌을 때, A와 B가 독립이면 상관없음($P(A\cap B)=P(A)P(B)$니까, 근데 A와 B가 독립이 아닌 경우 살펴볼 수 있다.

Intuition 1: pebble world

9개의 조약돌이 있고 총 질량을 1이라고 가정했을 때, $P(A|B)$를 구하는 과정을 보면,

• $B^c$인 조약돌들을 다 치우고, B안의 질량을 다시 1로 renormalize한 후 A와 B의 영역에 겹치는 조약돌의 질량을 보면 $\frac{1}{4}$가 구해진다는 것을 알 수 있다.

=> 한마디로 위의 식 $P(A|B)=\frac{P(A\cap B)}{P(B)}$를 보면

• $P(A\cap B)$: A영역과 B영역에 겹쳐진 조약돌
• $P(B)$: B영역에 대해 renormalize한 것.

라고 생각할 수 있다.

Intuition 2: Frequentist World: repeat experiment many time

100101101 => B 발생
001001011
111111111 => B 발생
...
B가 발생한 실험 중에, A도 발생한 사건들을 고르는 것.

Theroems

1. $P(A\cap B)=P(B)P(A|B)=P(A)P(B|A)$

2. $P(A_1,...,A_n)=P(A_1)P(A_2|A_1)P(A_3|A_1,A_2)...P(A_n|A_1...A_{n-1})$ => n! theorem

3. $P(A|B) = \frac{P(B|A)P(A)}{P(B)}$ => Baye's rule