빈도주의와 베이즈주의

빈도주의(Frequentist)와 베이즈주의(Bayesian)

확률론에서 확률을 해석하는 관점은 크게 빈도주의(Frequentist)와 베이즈주의(Bayesian) 두 가지로 나눌 수 있다. 빈도주의는 그 이름에서 알 수 있듯이, 특정 사건들의 반복 과정에서 발생하는 사건의 '빈도(Frequency)'를 기반으로 확률을 보는 관점이고, 베이즈주의(Baysian)는 확률을 사건이 얼마나 자주 발생할 수 있나에 대한 믿음/척도라는 관점에서 해석한다.

빈도주의

그 정의에서 알 수 있듯이, 빈도주의는 반복 가능한 사건들의 빈도 수에 기반한다. 즉, 여러 번 발생한 사건들을 관측하고 추합하여 그 확률을 검정하므로, 각각의 사건이 독립성을 띈다는 것을 암시하고, 모수(parameter)를 불변의 값으로 취급한다.

이는 역으로 말하면, 확률을 계산하기에 표본이 부족한 경우에는 확률의 신뢰도가 떨어질 수 있고, 극단적으로는 반복이 불가능한, 지금까지 일어나지 않았던 사건에 한에서는 확률 계산 자체가 불가능할 수 있다.

베이즈주의

베이즈주의는 기본적으로 다음의 베이즈 정리 (Bayes' theorem)에서 시작한다. 두 사건 $A, B$에 대해,

가 성립한다. 여기서, $P(A)$를 사전확률(prior), $P(B)$를 증거(evidence), 조건부확률 $P(A|B)$를 사후확률(posterior), $P(B|A)$를 가능도 혹은 우도(likelihood)라고 한다.

베이즈 정리는 '우도, 사전확률, 증거'를 이용해 '사후 확률'을 계산하는 과정이라고도 할 수 있다. 이는 결국 모수를 불변의 값이라고 생각할 필요가 없고, 정황상 변할 수 있는 가변의 값이 될 수 있음을 암시한다.

예를 들어, 100년 안에 지구가 멸망할 확률을 알고 싶을 때, 빈도주의적 관점에서는 계산이 불가능하다. 그러나 베이지언 관점에서 봤을 때, 이미 우리가 알고 있는 정황증거와 정보들을 통해 귀납적 추론으로 계산을 할 수 있고, 심지어 수집하는 정보에 따라 해당 확률을 '업데이트'할 수도 있다.