Lecture 5

Part 4 Generative Learning algorithms

---

💡 Discriminative learning algorithms : Learn $p(y|x)$ ( or learn $h_\theta(x) = \{0,1\}$ ( x→ y directly) )

Generative learning algorithm : Learn $p(x|y)$ ( x is a features. y is a class. $p(y)$ is called class prior. )

Generative learning algorithm 은 p(x|y)와 p(y)를 학습한다. 하지만, 최종적으로 목표로하는 것은 p(y|x)이다. 이를, Bayes rule을 이용해 간접적으로 구한다.

Bayes rule :

또한, p(y|x) 를 최대화 시키는 y값을 다음과 같이 표기한다.

이때, p(x)의 값은 양수이므로 분모값에 상관없이 arg max 값은 오직 분자에 의해서 결정됨을 알 수 있다.

Gaussian Discriminant Analysis (GDA)

---

Generative learning algorithm에서 살펴볼 첫번째 알고리즘이 GDA이다.

이 모델에서는 다음과 같은 가정이 필요하다.

The multivariate normal distribution

---

본격적으로 GDA에 들어가기 앞서, 다변량 정규분포의 개념에 대해 이해해야 한다.

다변량 정규분포 $z$가 n-dimensions 에 있다면, 다음을 만족한다.

1. $\\mean\space vector \space \mu\in\R^n \space$
2. $\space Covariance\space matrix\space \Sigma\in\R^{n \times n}, \space where\space \Sigma >0 \space is \space symmetric \space and \space positive\space semi-definite.$

• Examples of what the density of a GDA looks like :

  $\vec\mu = 0$ ( 2 x 1 matrix )

  

  평균이 0이고, 공분산이 Identity matrix 일 경우, Standard normal distribution 이라 부른다.

  각각 다음과 같은 공분산을 가진다. $\Sigma = \begin{bmatrix} 1 & 0 \\ 0 & 1 \end{bmatrix} = I$ , $\Sigma = 0.6I$ , $\Sigma = 2I$

  

  각각 다음과 같은 공분산을 가진다. $\Sigma = I$ , $\Sigma = \begin{bmatrix} 1 & 0.5 \\ 0.5 & 1 \end{bmatrix}$, $\Sigma = \begin{bmatrix} 1 & 0.8 \\ 0.8 & 1 \end{bmatrix}$

  이 예제에 대한 등고선은 다음과 같이 그려진다.

  

  첫 번째 그림은 타원이 아니라 완변학 원이다.

  다시 공분산에 변화를 주게 되면 다음과 같이 나타난다.

  

  각각 다음과 같은 공분산을 가진다.

  $\Sigma = \begin{bmatrix} 1 & -0.5 \\ -0.5 & 1 \end{bmatrix}$ , $\Sigma = \begin{bmatrix} 1 & -0.8 \\ -0.8 & 1 \end{bmatrix}$ , $\Sigma = \begin{bmatrix} 3 & 0.8 \\ 0.8 & 1 \end{bmatrix}$

  $\Sigma = I$로 고정 후, $\vec\mu$ 를 변화시켜 보면 다음과 같다.

  

  각각 다음과 같은 평균을 가진다. $\mu = \begin{bmatrix} 1 \\ 0 \end{bmatrix}$, $\mu = \begin{bmatrix} -0.5 \\ 0 \end{bmatrix}$, $\mu = \begin{bmatrix} -1 \\ -1.5 \end{bmatrix}$
  

The Gaussian Discriminant Analysis model

---

분류 문제(Classification Problem)에서 $p(x|y)$ 가 다변량 정규분포를 모델로 하는 GDA model 을 사용한다.

이진 분류 문제를 GDA로 모델링 하면 다음과 같다.

Model :

즉, $\phi,\space \Sigma,\space\mu_0,\space\mu_1$ 을 parameter로 하는 모델이 된다.

• About parameters
  1. $\mu_0 , \space \mu_1 \in \R^n$
  2. $\Sigma \in \R^{n \times n}$
  3. $\phi \in \R , \space 0 \leq \phi \leq 1$
  4. $\Sigma$는 오직 하나의 값을 주로 사용한다.

이 parameter들을 맞추기 위해서 joint likelihood를 최대화 시켜야 한다.

Joint likelihood :

• Difference between Discriminative learning algorithm Conditional likelihood :
  $L(\theta) = \prod_{i=1}^m p(y^{(i)}|x^{(i)};\theta)$
  p(y|x) 를 최대화 하는 매개변수 $\theta$ 를 선택한다.
  

이제 MLE를 사용하여, likelihood를 최대화 시키는 매개변수 값을 얻을 수 있다.

• How to calculate ?

  Note that :

  $\mu_{y^{(i)}}= 1\{{y^{(i)}}=0\}\mu_0+1\{{y^{(i)}}=1\}\mu_1 \\ p(x^{(i)}|y^{(i)};\mu_0,\mu_1,\Sigma) = \frac{1}{(2\pi)^{n/2}|\Sigma|^{1/2}}exp(-\frac{1}{2}(x^{(i)}-\mu_{y^{(i)}})^T\Sigma^{-1}(x^{(i)}-\mu_{y^{(i)}})) \\ p(y^{(i)};\phi) = \phi^{1\{y^{{(i)}=1}\}}(1-\phi)^{1-{1\{y^{{(i)}=1}\}}}$

  $Let \space l((\phi,\mu_0.\mu_1,\Sigma)) = log \space L(\phi,\mu_0.\mu_1,\Sigma)$

  $\begin{aligned} l((\phi,\mu_0.\mu_1,\Sigma) &= \sum_{i=1}^m log\space p(x^{(i)}|y^{(i)};\mu_0,\mu_1,\Sigma) +\sum_{i=1}^m log\space p(y^{(i)};\phi) \\ &= \sum_{i=1}^m log\frac{1}{(2\pi)^{n/2}|\Sigma|^{1/2}}exp(-\frac{1}{2}(x^{(i)}-\mu_{y^{(i)}})^T\Sigma^{-1}(x^{(i)}-\mu_{y^{(i)}})) \\ &\qquad + \sum_{i=1}^m log\space \phi^{1\{y^{{(i)}=1}\}}(1-\phi)^{1-{1\{y^{{(i)}=1}\}}} \\ \end{aligned}$

  By using log properties,

  $\begin{aligned} &= -\frac{mn}{2}log(2\pi)-\frac{m}{2}log|\Sigma|-\frac{1}{2}\sum_{i=1}^m (x^{(i)}-\mu_{y^{(i)}})^T\Sigma^{-1}(x^{(i)}-\mu_{y^{(i)}}) \\ \\ &\qquad + \sum_{i=1}^m1\{{y^{(i)}=1\}}log\phi+(m-\sum_{i=1}^m \{{y^{(i)}=1\}})log(1-\phi) \end{aligned}$

  Taking the partial derivative for each variable,

  $\frac{\partial l}{\partial\mu_{y^{(i)}}} = \Sigma^{-1} \sum_{i=1}^m(x^{(i)}-\mu_{y^{(i)}}) \\ \frac{\partial\mu_{y^{(i)}}}{\partial\mu_0} = 1\{{y^{(i)}}=0\}, \frac{\partial\mu_{y^{(i)}}}{\partial\mu_1} = 1\{{y^{(i)}}=1\}$
  $\frac{\partial l}{\partial\phi} = \frac{1}{\phi}\sum_{i=1}^m1\{{y^{(i)}=1\}} + \frac{1}{\phi-1}(m-\sum_{i=1}^m1\{{y^{(i)}=1\}}) \\ \frac{\partial l}{\partial\mu_0} = \frac{\partial l}{\partial\mu_{y^{(i)}}} \frac{\partial\mu_{y^{(i)}}}{\partial\mu_0} = \Sigma^{-1} \sum_{i=1}^m(x^{(i)}1\{{y^{(i)}}=0\}-\mu_{y^{(i)}}1\{{y^{(i)}}=0\}) \\ \frac{\partial l}{\partial\Sigma} = -\frac{m}{2}\Sigma^{-1}+\frac{1}{2}\Sigma^{-1}(\sum_{i=1}^m (x^{(i)}-\mu_{y^{(i)}})(x^{(i)}-\mu_{y^{(i)}})^T)\Sigma^{-1}$

  To maximizing, the value of each partial derivative should be set to zero.
  

알고리즘은 다음과 같은 모습을 보이게 된다.

우선, 각 클래스에 대해 Gaussian을 설정하면, 다음과 같은 등고선 그려진다. 이후, 각 점에 대해서 Bayes rule을 사용한 후, 경계를 결정하면 다음과 같은 직선이 그려진다. Discriminative learning algorithm 중 하나인 logistic regression이 그리는 경계선과 약간 다르며, 서로 도달하는 방식 역시 다르다.

이 예제에서는 서로다른 평균 $\mu_0, \mu_1$과 단일 공분산 행렬 $\Sigma$를 사용하여 선형 결정경계를 얻었다. 서로 다른 공분산 행렬을 사용하는 것 역시 실제로 잘 작동하며, 매우 합리적이다. 하지만, 결정경계는 더 이상 선형이 아니게 된다.

Discussion : GDA and logistic regression

---

$\phi, \mu_0,\mu_1,\Sigma$의 매개변수들을 결정했을 때, $p(y=1|x;\phi,\mu_0,\mu_1,\Sigma)$에 대해 Sigmoid function 형태를 얻을 수 있다.

• How to get $\theta,\theta_0 ?$ By Bayes rule,
  $\begin{aligned} p(y=1|x) &= \frac{p(x|y =1)p(y=1)}{p(x|y=1)p(y=1)+p(x|y=0)p(y=0) } \end{aligned}$
  $\begin{aligned} &= \frac{\exp(-\frac{1}{2}(x-\mu_1)^T\Sigma^{-1}(x-\mu_1))\phi}{\exp(-\frac{1}{2}(x-\mu_1)^T\Sigma^{-1}(x-\mu_1))\phi+\exp(-\frac{1}{2}(x-\mu_0)^T\Sigma^{-1}(x-\mu_0))(1-\phi)} \\ &= \frac{1}{1+\exp(\frac{1}{2}(x-\mu_1)^T\Sigma^{-1}(x-\mu_1)-\frac{1}{2}(x-\mu_0)^T\Sigma^{-1}(x-\mu_0))\frac{1-\phi}{\phi}} \end{aligned}$
  $Note \space : \frac{1-\phi}{\phi} = \exp(\log(\frac{1-\phi}{\phi})$
  $\begin{aligned} &\theta = \Sigma^{-1}(\,u_1-\mu_0) \\ &\theta_0 = \frac{1}{2}(\mu+0+\mu_1)^T\Sigma^{-1}(\mu_0-\mu_1)-\log(\frac{1-\phi}{\phi}) \end{aligned}$

Logistic regression 에서 p(y=1|x) 를 구할 때와 동일한 모습을 보인다. (그러나, 앞서 말했듯 실제로 알고리즘이 나타내는 결정경계는 조금 다른 형태를 띄게 된다.)

GDA 모델에서 p(x|y)를 Gaussian이라 가정하고, y는 베르누이 분포를 따른다고 가정한다. 이때, p(y=1|x)는 logistic regression을 따름을 증명하였다. 그러나, p(y|x) 가 logistic regression일 때, p(x|y)가 꼭 Gaussian을 나타내지는 않는다. 이를 바탕으로, GDA의 가정이 strong assumption이고 logistic regression은 weak assumption이 된다.

이러한 이유로 데이터 셋이 Gaussian이더라도 logistic regression을 사용하는 것은 GDA와 비슷한 결과를 도출한다. 하지만, 분명하게 데이터 셋이 Gaussian임을 알 고 있다면 GDA 모델을 사용하는 것이 데이터에 관해 더 많은 정보를 주게 되는 것이므로 더 잘 작동하며 효율적이다. 즉, 모델링에 있어 strong assumption이 맞다면, weak assumption 보다 더 잘 작동하지만, 일반적으로는 logistic regression 사용을 권장한다. ( 데이터 셋이 적다면, GDA도 잘 작동한다.)

비슷하게 p(x|y)가 Poisson이며, y는 베르누이 분포를 따라갈 때, p(y|x)가 logistic 임을 증명할 수 있다.

Naive Bayes

---

이 알고리즘은 이메일 스팸분류를 예시로 들어 설명한다.

우선, 사전에 n개의 단어가 있다고 가정한다. 그리고, 이메일의 텍스트에 사전에 있는 단어가 있다면 1로 없다면 0으로 하는 벡터 x를 만든다.

따라서, $x \in \{0,1\}^n$이며 $x_i = 1\{word\space i\space appears\space in\space email\}$가 된다.

이제 Generative learning algorithm에서 p(x|y)와 p(y)를 모델링 해야한다. 하지만, x가 될 수 있는 경우의 수는 $2^n$으로 총 $2^n-1$개의 파라미터 벡터가 필요하다. 그렇기에 가정이 필요하다.

이 가정과 확률의 연쇄법칙을 사용하면 다음과 같이 나타난다.

이 가정은 Conditional independence assumption 혹은 Naive Bayes assumption 이라 불린다. 이 가정은 수학적으로 증명된 가정이 아니다.

이 모델의 매개변수들은 다음과 같이 설정한다.

GDA 모델과 유사하게, joint likelihood 를 설정하면,

마찬가지로 MLE를 사용하게 되면,

• How to calculate ? Note :
  $\begin{aligned} p(y) &= {\phi_y}^y(1-\phi_y)^{1-y} \\ p(x|y=0) &= \prod_{j=1}^n p(x_j|y=0) \\ &= \prod_{j=1}^n (\phi_{j|y=0})^{x_j}(1-\phi_{j|y=0})^{1-x_j} \\ p(x|y=1) &= \prod_{j=1}^n p(x_j|y=1) \\ &= \prod_{j=1}^n (\phi_{j|y=1})^{x_j}(1-\phi_{j|y=1})^{1-x_j} \end{aligned}$
  $Let \space \log \mathcal L(\phi_y,\phi_{j|y=0},\phi_{j|y=1}) = l(\phi_y,\phi_{j|y=0},\phi_{j|y=1})$
  식의 간편성을 위해 매개변수들의 집합을 $\varphi$로 표시한다.
  $\begin{aligned} l(\varphi) &=\log\prod_{i=1}^m \left( \prod_{j=1}^n p({x_j}^{(i)}|y^{(i)};\varphi)\right) p(y^{(i)};\varphi) \\ &= \sum_{i=1}^m \left( \log p(y^{(i)};\varphi)+\sum_{j=1}^n \log p({x_j}^{(i)}|y^{(i)};\varphi) \right) \\ &=\sum_{i=1}^m \{ y^{(i)}\log\phi_y + (1-y^{(i)})log(1-\phi_y) \\ &\qquad +\sum_{j=1}^n ( {x_j}^{(i)}\log\phi_{j|y^{(i)}} +(1-{x_j}^{(i)})\log(1-\phi_{j|y^{(i)}})) \} \end{aligned}$
  $\begin{aligned} \nabla_{\phi_{j|y=0}} l(\varphi) &= \sum_{i=1}^m \left( {x_j}^{(i)}\frac{1}{\phi_{j|y=0}}1\{y^{(i)}=0\} - (1-{x_j}^{(i)})\frac{1}{1-\phi_{j|y=0}}1\{y^{(i)}=0\} \right) \end{aligned}$
  $Note :\space(1-\phi_{j|y=0}) = \phi_{j|y=0}$
  $\begin{aligned} \nabla_{\phi_{j|y=0}} l(\varphi) &= 0 \\ &=\sum_{i=1}^m \left( ({x_j}^{(i)}-\phi_{j|y=0})1\{y^{(i)}=0\} \right) \\ &= \sum_{i=1}^m ( {x_j}^{(i)}1\{y^{(i)}=0\})-\phi_{j|y=0}\sum_{i=1}^m1\{y^{(i)}=0\} \\ &= \sum_{i=1}^m (1\{ {x_j}^{(i)}=1\wedge y^{(i)}=0\})-\phi_{j|y=0}\sum_{i=1}^m1\{y^{(i)}=0\} \\ \end{aligned}$
  같은 방법으로, $\phi_{j|y=1}$을 구할 수 있고, $\phi_y$ 역시 다음과 같이 구할 수 있다.
  $\begin{aligned} \nabla_{\phi_y}l(\varphi) &= \sum_{i=1}^m \left( y^{(i)}\frac{1}{\phi_y} -(1-y^{(i)})\frac{1}{1-\phi_y} \right) \\ &= \sum_{i=1}^m \left( y^{(i)}(1-\phi_y)-(1-y^{(i)})\phi_y \right) \\ &= \sum_{i=1}^m y^{(i)} - \sum_{i=1}^m \phi_y \end{aligned}$

이 모델은 반복전인 작업을 하지 않고 실제로 매우 효율적인 알고리즘이라 할 수 있지만, logistic regression모델을 사용할 경우 거의 항상 더 나은 모습을 보여준다. 하지만, 종종 확률이 0이되는 경우가 문제가 되어 Laplace smoothing을 사용하게 된다.