Probability Axioms (확률 공리)

chance experiment $E$(확률 실험)에 대하여, sample space $S$(표본공간) 내 사건 A의 발생 확률은 $P(A)$로 정의되고, 다음 3개의 공리를 만족해야 한다.

1. $P(A)$는 non-negative number이다. 즉, $P(A)≥0$이다.
2. $S$의 발생 확률은 1이다. $P(S)=1$
3. 두 사건 $A$, $B$가 상호 배타적(mutually exclusive)이라면, 사건 $A$ 또는 $B$가 발생할 확률$P(A \ or \ B)$은 두 사건 발생 확률의 합과 같다.
   즉, $P(A∪B) = P(A)+P(B)$
   

Conditional Probabilities and Statistical Independence

Conditional Probability(조건부 확률)

사건 $B$가 발생한 조건 하에 사건 $A$가 발생할 확률은 다음과 같이 정의한다.

$p(A|B)={{P(A ∩ B)}\over{P(B)}}$

이와 유사하게, 사건 $A$가 발생한 조건 하에 사건 $B$가 발생할 확률은 다음과 같다.

$p(B|A)={{P(A ∩ B)}\over{P(A)}}$

사건 $A$와 $B$가 동시에 발생할 확률 $P(A \ and \ B)$은 다음과 같다.

$P(A∩B)=P(B|A)P(A)=P(A|B)P(B)$

Statistical Independence

$P(A∩B)=P(A)P(B)$

두 사건 A, B가 위 식을 만족하면, 두 사건은 통계적으로 독립적이라고 할 수 있다.

Total Probability and Bayes’ Theorem

Total Probability (전확률의 법칙)

사건 $A_1, A_2, …, A_m$가 표본 공간 $S$를 구성하는 부분집합들이라고 하자. 이 사건들은 상호 배타적이며, 이 사건들을 모두 더하면 $S$가 된다. 그러면, 어떠한 사건 $B$의 발생 확률은 다음과 같이 표현할 수 있다.

$P(B)=\sum^{m}_{i=1}P(B∩A_i)=\sum^{m}_{i=1}P(B|A_i)P(A_i)$

증명

모든 사건 $A_i$가 상호 배타적이므로, $B∩ A_i$또한 상호 배타적이다. 따라서, 확률 공리 #3을 적용하면 우리는 다음과 같이 $P(B)$값을 정리할 수 있다.

$P(B)=P(B∩A_1) + P(B∩A_2) + … + P(B∩A_m)$

$P(B∩A_i)$를 조건부 확률로 대체해서 써 보면, 다음과 같이 정리할 수 있다.

$P(B∩A_i)$$=P(B|A_i)P(A_i)$

→ $P(B)=P(B|A_1)P(A_1) + P(B|A_2)P(A_2) + … + P(B|A_m)P(A_m)$

Bayes’ Theorem (베이즈 정리)

다음 표현식을 베이즈 정리라고 한다.

$P(B|A) = {{P(A|B)P(B)}\over{P(A)}}$

(*우리는 앞선 조건부 확률 식에서 $P(A∩B)=P(A|B)P(B)$임을 알고 있다.)

상호 배타적인 사건 $A_1, A_2, …, A_m$가 표본 공간 $S$를 구성하는 부분집합들이라고 하면, 베이즈 정리는 다음과 같은 형식으로 일반화할 수 있다.

$P(A_i|B)={P(B|A_i)P(A_i)\over{\sum^{m}_{j=1}P(B|A_J)P(A_J)}}$ , $(1≤i≤m)$