베이시안 러닝은 Training data를 받아 나의 belief를 업데이트 하는 방식이다.
기존에 알고 있던 방법중 하나인 Maximum likelyhood는 μ와 σ를 알지, 베이시안 러닝은 이를 모른다는것이 둘의 차이점이다.
Bayes Theroem
data D가 주어졌을때, 기존의 확률을 통해 hypothesis H를 찾는것
베이시안 러닝은 우리가 그동안 많이 봐왔던 베이즈 이론부터 시작한다.
P(h∣D)=P(D)P(D∣h)P(h)(6.1)
이제 우리가 알고싶은것은 MAP hypothesis 이다. (Maximum a posteriori)
hMAP=h∈Hargmax P(h∣D)=h∈HargmaxP(D)P(D∣h)P(h)=h∈HargmaxP(D∣h)P(h)(6.2)
Example. Diagnosis of Cancer
H={cancer,¬caner}D={⊕,⊖}
여기서 ⊕는 positive, ⊖는 negative이다.
→ Some known facts:
P(cancer)=0.008P(¬caner)=0.992P(⊕∣cancer)=0.98P(⊖∣cancer)=0.02P(⊕∣¬caner)=0.03P(⊖∣¬caner)=0.97
then, we want to know lab test returns a "positive" result.
should we diagnose the patient as "HAVING cander" or "NOT"?
sol)
P(cancer∣⊕)=P(⊕∣cancer)P(cancer)=0.98×0.008=0.0078P(¬caner∣⊕)=P(⊕∣¬caner)P(¬caner)=0.03×0.992=0.0298
Hence,
hMAP=¬cancer