Conditioning and Bayes’ Rule

Idea of conditioning

• “새로운 sample space와 probability rule”을 도입하는 것
  • event A가 발생했다 → event B가 발생했을 때, event A가 발생했다.
  • sample space : $\Omega$ → B
  • probability rule : P(A) → P(A|B)

Definition of conditional probability

• P(A|B) : probability of A, given that B occured
• $P(A|B)={P(A\cap B)\over P(B)} \ (P(B)>0)$

Conditional probabilities obey the same axioms

1. $P(A|B) \ge 0$
2. $P(\Omega |B) = {P(\Omega \cap B)\over P(B)} = {P(B)\over P(B)} = 1$
3. $P(A\cup C|B) = P(A|B) + P(C|B)$

Conditional probabilities: Probability law

• all general properties of probability laws remain valid

Using conditional probability for modeling

Multiplication rule

• $P(A\cap B) = P(A|B)P(B)$
• chain rule

Total probability theorem

• 특정 event의 확률을 그 event가 포함된 partition들과 그 event의 intersections의 union으로 표현
• $P(B) = \Sigma^n_{i=1}P(A_i)P(B|A_i)$

Bayes’ rule

• $P(A_i|B) = {P(A_i\cap B)\over P(B)} = {P(A_i)P(B|A_i)\over \Sigma_jP(A_j)P(B|A_j)}$

Bayes’ rule and inference

• A가 cause, B가 effect라고 하자.
• 모델의 접근 : P(B|A)를 구해 A가 발생했을 때 B가 일어날 확률을 구한다
• Bayesian inference의 접근 : P(A|B)를 구해 B를 관찰했을 때 그것이 A로 인했을 확률을 구해 B의 원인을 추론한다.