edwith에 올라와있는 문인철 교수님의 인공지능 및 기계학습 개론1을 공부하여 정리한 내용입니다.
Dataset for Optimal Classifier Learning
Prior의 경우 개만 있으면 되지만
Class Conditional Density는 개가 필요하다. 이는 지수적으로 증가하기 때문에 필요한 파라미터가 급속도로 늘어나기 때문에 문제가 된다.
그러기 때문에 이러한 joint probability distribution이라는 이 부분에 대해서 어떻게든 해결해줘야만 우리의 모델이 정상적으로 학습할 수 있다.
d를 줄이기에는 우리가 모아놓은 feature를 버리기 때문에 이는 좋지 못하다. 그러면 d를 줄이지 않고 해결할 수 있는 방법은 어떤 것이 있을까?
Conditional Independence
그러기 위해서 우리는 Conditional Independence라는 가정(Assumption)을 도입한다.
Conditional Independence Assumption는 주어진 하나 이상의 조건이나 이벤트가 있을 때, 두 변수 또는 두 이벤트가 서로 독립적이라고 가정하는 것을 말한다.
이러한 가정을 함으로서 처럼 지수적으로 늘어나는 것을 막을 수 있게 된다.
수학적으로는 다음과 같이 정의할 수 있다.
Conditional vs. Marginal Independence
Conditional Independence에서는 만약 Commander라는 중간에 있는 Latent variable이 알려지지 않는 경우에는 다른 X값이 현재의 X값에 영향을 주고 받는다. 만약 중간에 있는 Latent Variable을 알고 있는 상황에서는 다른 X값은 현재의 X값에 영향을 주지 않는다.
Marginal Independence에는 다른 변수들의 조건 없이, 그 자체로 두 변수(Officer A, Officer B)가 독립적이라는 것을 의미한다.
Dataset for Optimal Classifier Learning with Conditional Independent Assumption
그럼 이제 Conditional Independent Assumption를 예제에 적용해보자.
Class Conditional Density가 개별 Feature들의 곱셈으로 변하게 된다.
이 경우에 대해서는 만큼만 필요하게 된다.
Naïve Bayes Classifier
위와 같은 가정을 했을 때 Naïve Bayes Classifier Function를 정의할 수 있다.
Naïve Bayes classifier는 나중에 나오는 Risk를 줄이는 optimal classifier이다.
Problem of Naïve Bayes Classifier
하지만 Naïve Bayes Classifier에도 분명히 문제점이 존재한다.
1. Naïve assumption
현실에서는 Conditionally Independent한 경우가 적다.
2. Incorrect Probability Estimations
우리가 매우 특이적인 케이스를 학습하기 전에 관측하지 못했다면 Naïve Bayes Classifier는 정상적으로 작동하지 않는다. 그러기에 MLE대신 MAP를 활용한다. MLE은 한번도 관측되지 않은 경우에서는 확률이 0이 되기에 MAP를 사용하여 사전 정보를 주어서라도 데이터를 처리해야한다.
2번 문제는 항상 존재하는 문제이다. 하지만 1번 문제에 대해서는 Naïve assumption을 없애는 방향으로 문제를 해결할 수 있다. 다음 주차에는 Naïve assumption을 도입하지 않고 Classifier를 만드는 방법을 배운다.
Naive Bayes Classifier Application
실제로 적용할 때에는 Vanishing 문제로 log를 씌워 계산한다.
