베이지안 통계란

들어가기 전에

이 포스트는 Hoff, First Course in Bayesian Statistics (2009)를 학습한 내용을 정리한 것임을 밝힙니다.

1. 베이지안 통계학 이란?

전통적으로 통계학은 빈도론적 통계학(Frequentist statistics)을 중심으로 발전해왔다. 내가 배운 학부 수업의 대부분(사실상 베이지안 통계학을 뺀 전부)도 이 빈도론적 통계학을 기반으로 한 내용들이었다. 빈도론적 통계학에서 확률변수 X 는 모수(parameter) $\theta$에 의존하는 확률 분포를 갖고, 모수 $\theta$는 알려져 있지 않은 상수라고 본다.

예를 들어, 동전 하나를 던질 때 앞면이 나올 확률에는 모수에 따른 참값이 존재한다. 하지만 이 값을 정확하게 알 수 없기 때문에, 동전을 몇 번 (많이 던져볼 수록 좋다.) 던져보면서 실험(random experiment)을 하고, 이 실험에서 관찰한 데이터를 토대로 참된 확률 값을 추정하는 방식이다.

반면 베이지안 통계학에서는 확률을 주관적인 믿음이라고 본다. 확률 모수$\Theta$를 고정되어 있는 상수가 아니라 X 처럼 분포를 갖는 확률 변수로 생각하는 것이다. 따라서 모수와 관련된 확률에 참값이란 없으며, 데이터를 이용해 모수에 대해 가지고 있던 사전적인 믿음을 계속해서 업데이트 하는 방식으로 추론한다.

2. 베이지안 추론의 틀

베이지안 추론에서 가장 주요하게 쓰이는 개념은 사전분포(prior distribution),
사후분포(posterior distribution), 그리고 Likelihood 이다. 이 세 가지 개념은 다음과 같이 정의된다.

let $X|\theta \sim f(x|\theta)$ : conditional pdf of X given $\Theta$ = $\theta$
where $X$ = ($X_1, X_2, ... X_n$) : a random sample from $f(x|\theta)$

$\Theta$ ~ h($\theta$) : prior pdf of $\Theta$

$L(x|\theta)= f(x_1|\theta)f(x_2|\theta)...f(x_n|\theta)$ : likelihood

$k(\theta|x) = \frac{g(x,\theta)}{g_1(x)} = \frac{L(x|\theta)h(\theta)}{g_1(x)} \propto L(x|\theta)h(\theta)$ : posterior pdf of $\Theta$

위의 정의를 풀어보면, 어떤 확률변수의 모수 $\Theta$는 분포를 가지는 확률 변수 인데, 이때 $\Theta$의 분포를 prior distribution 이라고 한다. 이 $\Theta$가 어떠한 분포를 가질 것인지, 즉 prior distribution 이 어떠한 모양일 것인지에 대해 가지고 있는 믿음이 Bayesian approach 에서 말하는 확률에 대한 사전적인 믿음이다. 이때 $\Theta$의 분포는 직접적으로 관찰할 수 없기 때문에, 우리는 우리가 관찰한 random sample 을 토대로 추론해야한다. $\Theta$가 확률변수라는 것은 다양한 $\Theta$ 의 값이 존재함을 의미하므로, 우리가 관찰한 random sample $X$는 모수가 어떤 값 $\theta$으로 주어졌을 때 얻은 결과일 것이다. 이러한 conditional joint pdf 를 Likelihood 라고 부른다. 이제 prior distribution 과 likelihood 를 가지고 베이즈 정리를 이용하면, $\Theta|x$ 의 conditional distribution 을 얻는다. 이 분포가 관찰된 데이터($X$)를 토대로 미지의 모수에 대한 믿음을 업데이트한 결과이며, 이를 posterior distribution 이라고 부른다. Bayesian approach 에서는 이 posterior distribution 에 기반하여 추론을 진행한다.