Naive Bayes Classifier

$P(Y_c|X_1,...,X_n)={P(Y_c) \prod_{i=1}^n P(X_i|Y_c) \over \prod_{i=1}^n P(X_i)}$

$\mathrm{Y}_{c}$ is a label

Likelihood 계산 방법

$\prod_{i=1}^n P(X_i|Y_c)$

$P(X_i|Y_c)={\sum tf(x_i,d\in Y_c) + \alpha \over \sum \mathrm{N}_{d\in Y_c}+\alpha\cdot V}$

• $X_i$ : A word from the feature vector X of particilar sample.
• $\sum tf(x_i,d\in Y_c)$ : The sum of raw term frequencies of word $X_i$ belong to class $Y_c$ in document
• $\sum \mathrm{N}_{d\in Y_c}$ : The sum of all term frequencies in the training dataset for class $Y_c$
• $\alpha$ : An additive smoothing parameter ($\alpha = 1$ for Laplace smoothing)
• $V$ : The size of the vocabulary (number of different words in the training set)

Multinomial Naive Bayes(다항 분포 나이브 베이즈)

• 주로 텍스트 분류와 같은 다중 클래스 문제에 사용

• 단어의 존재 유무가 아닌 단어의 출현횟수를 Feature로 사용

• 아래의 가정을 기반으로 한다.

  • 각 특성(단어 등)은 독립적으로 기여한다.
  • 각 특성의 값은 다항 분포를 따른다.

Bag of words

• 모든 샘플 텍스트를 하나의 Vector로 표현
• 단어별로 인덱스를 부여해서 한 문장(또는 문서)의 단어의 개수를 Vectore로 표현(Corpus(말뭉치)라고도 함)

Example

Data

	Doc	Words	Class
Training	1	Chinese Beijing Chinese	c
	2	Chinese Chinese Shanghai	c
	3	Chinese Macao	c
	4	Tokyo Japan Chinese	j
Test	5	Chinese Chinese Chinese Tokyo Japan	?

Bag of words

		Chinese	Beijing	Shanghai	Macao	Tokyo	Japan	class
Training	1	2	1	0	0	0	0	c
	2	2	0	1	0	0	0	c
	3	1	0	0	1	0	0	c
	4	1	0	0	0	1	1	j
Test	5	3	0	0	0	1	1	?

prior * Likelihood

Test의 class가 'c'로 구분될 확률

• $P(c|d5)\cdot P(c)P(Chinese|c)^3 P(Tokyo|c)P(Janpan|c)$
  $={3 \over 4}\ast \left( \frac{5+1}{8+6} \right)^3 \ast \left( \frac{0+1}{8+6} \right) \ast \left( \frac{0+1}{8+6} \right)$

Test의 class가 'j'로 구분될 확률

• $P(j)\cdot P(Chinese|j)^3 P(Tokyo|j)P(Janpan|j)$
  $={1 \over 4}\ast \left( \frac{1+1}{3+6} \right)^3 \ast \left( \frac{1+1}{3+6} \right) \ast \left( \frac{1+1}{3+6} \right)$