4-2. Bayesian Inference

본 글은 K-MOOC의 인공지능 수학 고급(Advanced Mathematics for AI) 강의를 듣고 요약한 글입니다.

Bayesian vs Frequentist

확률이란?

• Frequentist: 오랜 시간 관측된 상대적인 횟수
• Bayesian: 주관적인 믿음의 정도

확률적 추론

공통된 사항

• 데이터 $X$에 대해 확률적 모델을 맞춘다.
• 데이터 $X$의 분포를 매개변수 $\theta$에 따라 맞춘다.
• $\theta$를 구하기 위해 실제 관측된 $X=x$를 이용한다.
• 데이터 생성과정에 대한 설명을 통해 최종적인 결론을 도출한다.

parameter란?

• Frequentist: 알 수 없는 미지의 상수
• Bayesian: 값을 알 수 없기 때문에 랜덤한 변수

Bayesian Approach

우리는 불확실성을 모델화하기 위해 확률분포 $\pi(\theta)$를 이용한다.

$\pi(\theta)$는 prior distribution이라 불리며,

• Prior란 데이터를 보기 전 우리가 $\theta$에 대해 갖고 있는 믿음이고,
• Postetior란 데이터를 본 후의 $\theta$의 분포를 뜻한다. 즉, 데이터가 주어졌을 때에 대한 조건부 확률인 것이다.

Bayesian Interfence

• 모델은 $p(x|\theta)$ 또는 $f(x|\theta)$로 표현한다. 이 둘의 차이는 discrete와 continuous의 차이이다.
• Prior distribution $\pi(\theta)$는 데이터를 보기 전, 정보를 기반으로 만들어진다.
• 이후, Bayes' Theorem을 이용하여 Posterior distribution인 $\pi(\theta|x)$를 구한다.