Naive Bayes Classifier

• 복잡하게 하지 말고 단순(naive)하게 해결하자
• 각 변수의 관계가 독립임을 가정
• 계산이 용이해지고, 성능이 생각보다 좋음

Naive Bayes(나이브 베이즈)

• 확률 기반의 분류 방법
• Bayes' theorem(베이즈 정리) 기반

Bayes' theorem

• 사전 확률과 사후 확률 사이의 관계를 나타내는 정리
• 사전확률로부터 사후확률을 구할 수 있음
• 조건부 확률에 대한 정리

▲ 사건 B의 발생을 관측할 때, 사건 A의 조건부 확률

• P(A) : 사전 확률(이미 알고 있는 사건의 확률)
• P(A|B) : 사후 확률, B가 주어진 상황에서 A의 조건부 확률
• P(B|A) : 우도(likelihood, 일어날 것 같은 정도(가능도)), 사후 확률 P(A|B)의 역 조건부 확률
• P(B) : 정규화 상수 또는 증거, P(A|B)의 값이 0 ~ 1 사이의 범위에 떨어지도록 보정해 주는 역할

  사후 확률은 사전확률과 우도의 곱에 비례한다.