KOOC에서 제공하는 KAIST 문인철 교수님의 "인공지능 및 기계학습 개론 1" 수업입니다.

Optimal Classifier Learning with Conditional Indepence Assumption

자 이제 Conditonal Indepence Assumption을 고려한 Optimal Classifier, 즉 Navie Classifier를 정리해보자.

이때 $\approx$는 Conditional Indepence Assumption 때문이다. 말그대로 가정이기 때문에 추정치 혹은 가정값이라는 뜻이니까 올바른 값은 아니다.

자, 그렇다면 Parameter 수는 얼마나 줄었을까?

Prior 부분은 그대로이고, likelihood를 따져야 한다. 각 Random Variable은 두 개의 case를 가지고 있으니, 하나가 결정되면 다른 하나는 자동으로 결정된다. 따라서 각 Random Variable마다 하나씩 parameter가 필요하니 변수의 길이 d만큼의 parameter가 필요하다.

그리고 class 수만큼 곱해주면, Navie Classifier의 likelihood에 필요한 parameter 수가 된다.

Navie Bayes Classifier

정리하면,

Given:

• Class Prior $P(Y=y)$
• d conditionally indenpendent features X given the class Y
• For each $X_i$, we have the likelihood of $P(X_i|Y)$

Navie Bayes Classifier:

• $f_{NB}(x)=argmax_{Y=y}P(Y=y)\prod_{1\le i\le d}P(X_i=x_i|Y=y)$

Problem of Navie Bayes Classifier

• Problem 1: Navie Assumption
• Problem 2: Incorrect Probability Estimations

Navie Bayes Classifier는 MLE보단 MAP로 구하는 것이 옳다. 왜냐하면 MLE는 관측되지 않는 상황에 대한 Estimation이 안되어 있기 때문이다. MAP를 이용해 사전정보(Prior)를 주어서 계산하는 것이 더 정확하기 때문이다.