위키백과에 따르면, 베이즈 이론이란 두 확률 변수의 사전 확률과 사후 확률 사이의 관계를 나타내는 정리다. 베이즈 확률론 해석에 따르면 베이즈 정리는 사전확률로부터 사후확률을 구할 수 있다.
베이즈 정리는 불확실성 하에서 의사결정문제를 수학적으로 다룰 때 중요하게 이용된다. 특히, 정보와 같이 눈에 보이지 않는 무형자산이 지닌 가치를 계산할 때 유용하게 사용된다. 전통적인 확률이 연역적 추론에 기반을 두고 있다면 베이즈 정리는 확률임에도 귀납적, 경험적인 추론을 사용한다.
우선 베이즈 정리의 공식부터 확인해보도록 하자.
[출처:https://angeloyeo.github.io/2020/01/09/Bayes_rule.html]
그림에는 총 네 개의 확률값이 적혀져 있으며, 생김새도 거의 비슷비슷해 그냥 보기에는 의미를 파악하기가 어렵다.
네 개의 확률 값 중
는 각각 사전 확률, 사후 확률이라고 부르고, 베이즈 정리는 근본적으로 사전확률과 사후확률 사이의 관계를 나타내는 정리이다.
그렇다면, 우리는 사전확률과 사후확률의 의미를 파악함으로써 베이즈 정리가 말하는 바와 그 의의를 이해할 수 있을 것이다.
베이즈 정리를 이해함에 있어서 가장 먼저 정리해야 할 개념은 ‘확률’에 관한 관점이다.
베이즈 정리의 의미를 이해하기 어려운 이유 중 하나는 고등학교 수준까지의 확률론에서는 ‘전통적인 관점’으로 확률을 정의해오고 이해해왔기 때문이다.
여기서는 확률이라는 단어를 ‘주장에 대한 신뢰도’로 생각해보자.
이러한 관점은 확률에 대한 베이지안 주의(Bayesianism) 관점으로 볼 수 있다. 반면, 전통적인 확률관은 빈도주의(frequentism)이라고 볼 수 있다.
가령 동전의 앞면이 나올 확률이 50%라고 하면, 빈도주의자들은 100번 동전을 던졌을 때 50번은 앞면이 나온다고 해석하고, 베이지안 주의자들은 동전의 앞면이 나왔다는 주장의 신뢰도가 50%라고 보는 것.