[LG Aimer] Bayesian

통계학은 크게 빈도주의자(freqentist)와 베이즈주의자(Bayesian)으로 나뉜다.둘은 확률을 해석 하는 방법이 다르다.

• "동전을 던졌을 때 앞면이 나올 확률이 50%이다."
  • 빈도주의자: '동전 하나 던지기를 수천번 하면 그 중 앞면이 50%, 뒷면이 50%나온다'(확률=객관적)
  • 베이즈주의자: '동전 하나 던지기의 결과가 앞면이 나올 확신이 50%이다.'(확률=주관적)

베이즈 정리

• 사전확률(Class Prior Probablity): 사전지식

• 가능도(Likelihood): 가설(A)가 데이터(B)를 지지할 가능성
  = 사후확률(Posterior Probablity): 데이터로 업데이트된 확률

• 증거(Predictor Prior Probablity): 데이터의 확률

  데이터 증가/감소로 사전 확률이 사후 확률로 어떻게 업데이트 되는지에 대한 정리(데이터는 가능도를 통해 사후 확률에 영향을 준다)

MCMC(몬테가를로)

시뮬레이션을 통해 얻고자 하는 값들을 얻기 위한 방법

• MCMC를 수행한다는 것은 첫 sample을 랜덤하게 Pick한 뒤 첫 sample에 의해 다음 번 sample이 추천되는 방식의 시도를 무수히 해본다는 것

  표본 추출하는 MCMC 알고리즘 종류

• Gibbs Sampler: N차의 자료를 1차 자료 N개로 가정하고 나머지 N-1개를 고정한 한 차원에 대한 자료를 샘플링할 수 있다. N개의 차원에 대해 각각 자료를 샘플링하여 이를 합치면 전체 N차원의 자료를 샘플링한 것과 같다라는 아이디어
• Metropolis-Hastings: symmetric하지 않더라도 일반적인 확률 분포에 대한 경우까지 어떻게 수학적으로 계산할 수 있는지에 관한 알고리즘
  $\frac{f(x_1)/g(x_1|x_0)}{f(x_0)/g(x_0|x_1)}$
  • 새로운 포인트 $x_1$에 대해 $x_0$을 기준으로 뽑은 $g(x_1|x_0)$을 이용해 정규화 함
  • 이전 포인트 $x_0$에 대해 새로운 $x_1$기준으로 뽑은 $g(x_0|x_1)$를 이용해 정규화 함