[하버드 확률론 기초 : Statistics 110] 4강- 조건부 확률 (Conditional Probability)

Independence

• 정의 : $P(A \cap B) = P(A)P(B)P(A∩B)=P(A)P(B)$이 성립할 때, 사건 A와 B는 독립이다.

• 주의하기: 서로소(disjoint) 와 구별하기
  A와 B가 서로소인 사건이라면, A가 발생했을 때 B는 발생할 수 없다. (한편, A와 B가 독립이라면, 사건 A의 발생은 B의 발생여부에 대한 그 어떤 영향도 끼치지 않음)

  $P(A \cap B) = P(A)P(B)\\ P(B \cap C) = P(B)P(C)\\ P(C \cap A) = P(C)P(A)\\ P(A \cap B \cap C) = P(A)P(B)P(C)$가 모두 성립할 때, 사건 A, B, C는 독립이다.
  → 쌍으로 독립(pairwise independence)과 전체 독립 모두 확인해야 A, B, C의 독립을 확인할 수 있다.

• 예제 ) Newton-Pepys Problem(1693) – 공정한 주사위를 갖고 있을 때, 다음 중 어떤 경우가 발생할 확률이 가장 높은가?
  a) 6개의 주사위 중에서 적어도 한 개가 ‘6’이 나온 경우
  b) 12개의 주사위 중에서 적어도 두 개가 ‘6’이 나온 경우
  c) 18개의 주사위 중에서 적어도 세 개가 ‘6’이 나온 경우
  → 답은 (a)

  풀이) ‘적어도 몇 개’ 라는 표현이 나오면 합집합을 생각하기 → 합집합의 여집합은 교집합
  $\Rightarrow$ 모든 사건이 독립이기 때문에, 곱셈으로 구할 수 있음!

  • $P(A) = 1 - \Large{(\frac{5}{6}) ^6} \small \approx 0.665$
  • $P(B) = 1- P(B) = 1− \text{(6이 한 번도 안 나올 확률 + 6이 딱 한 번 나올 확률)} = 1−\{ {\Large (\frac {5}{6}) ^{12}+{\frac {1}{6}} \times (\frac {5}{6}) ^{11} \times \small 12} \} \approx 0.619$
  • $P(C) = 1 - \sum _{k=0} ^{2} \large{18\choose k} (\frac{1}{6})^k (\frac {5}{6})^{18-k} \small \approx 0.597$
    ∴ (a)가 가장 발생할 확률이 높다.

• Conditional Probability: 새로운 정보를 얻었을 때, 기존의 ‘믿음/불확실성(uncertainty)’을 어떻게 업데이트하는가?

  • 정의) $P(A|B) = \Large \frac{P(A \cap B)}{P(B)}$
  • 직관적 접근 1) '조약돌 세계관'
    
    
  • 직관적 접근 2) '빈도학파(Frequentist) 세계관'
    같은 실험을 무한 번 반복할 수 있다면,
    

• 정리

  • $P(A∩B)=P(B)P(A∣B)=P(A)P(B∣A)$
  • $P(A_1,A_2,...,A_n)=P(A_1)P(A_2∣A_1)P(A_3∣A_1,A_2)...P(A_n∣A_1,...,A_{n−1})$
  • $P(A|B) = \Large \frac{P(B|A)P(A)}{P(B)} \rightarrow$ 이를 베이즈의 정리(Bayes' Theorem)라 한다.

본 포스트의 학습 내용은 boostcourse 내의 [하버드] 확률론 기초: Statistics 110 (Prof. Joe Blitzstein) 강의 내용을 바탕으로 작성되었습니다.
(https://www.edwith.org/ai152)