Optimal Classification

Naive Bayes Classifier를 논하기전에 우선 Optimal Classification에 대해 알아보도록 한다.
예측값의 결과가 두가지인 그래프가 있다:

위는 Y의 클래스가 빨강일때 초록색일 경우를 분류하는 분류기이다.
즉, 어느 한 X지점에 대한 Y의 값(각 클래스의 출현 확률)을 확률 분포 함수로 그려준 것이다.
위의 그래프를 통해 우리는 주어진 X조건에 대해 Y의 값이 최대가 되는 Optimal Classification을 구상할수있다.

위의 그래프에서 곡선의 끝과 끝으로 또다른 직선 분류기를 그리고,
두 선분이 교차하는 지점을 기준으로, 왼쪽은 초록색으로 판별, 오른쪽은 빨간색으로 판별한다.
만약, 오른쪽의 X값에서 빨강이 아닌 초록이 출현한다면, 그 확률은 error값이 된다.
그 error의 면적을 Bayes Risk라고 부르며 R(f*)로 표기된다.
결국 Optimal Classification이란 주어진 X값에 대해 Error값이 낮아지는 분류기를 찾아내가는 과정이다.