Chapter 4 모델훈련 -3

로지스틱 회귀

• 로지스틱 회귀는 샘플이 특정 클래스에 속할 확률을 추정하는데 사용됩니다.

• 하나의 훈련 샘플에 대한 비용 함수

• 로지스틱 회귀 비용 함수(로그 손실)

$J(\boldsymbol{\theta}) = -\dfrac{1}{m} \sum\limits_{i=1}^{m}{\left[ y^{(i)} log\left(\hat{p}^{(i)}\right) + (1 - y^{(i)}) log\left(1 - \hat{p}^{(i)}\right)\right]}$

• 로지스틱 비용 함수의 편도 함수

$\dfrac{\partial}{\partial \theta_j} \text{J}(\boldsymbol{\theta}) = \dfrac{1}{m}\sum\limits_{i=1}^{m}\left(\mathbf{\sigma(\boldsymbol{\theta}}^T \mathbf{x}^{(i)}) - y^{(i)}\right)\, x_j^{(i)}$

소프트 맥스 회귀

• 소프트맥스 회귀 모델은 로지스틱 모델을 여러개의 이진분류기를 훈련시켜 연결하지 않고 직접 다중클래스를 지원하도록 일반화 한것을 이야기 합니다.
• 소프트맥스 함수

$\hat{p}_k = \sigma\left(\mathbf{s}(\mathbf{x})\right)_k = \dfrac{\exp\left(s_k(\mathbf{x})\right)}{\sum\limits_{j=1}^{K}{\exp\left(s_j(\mathbf{x})\right)}}$

• 크로스 엔트로피 비용 함수

$J(\boldsymbol{\Theta}) = - \dfrac{1}{m}\sum\limits_{i=1}^{m}\sum\limits_{k=1}^{K}{y_k^{(i)}\log\left(\hat{p}_k^{(i)}\right)}$

• 클래스 k에 대한 크로스 엔트로피의 그레이디언트 벡터

$\nabla_{\boldsymbol{\theta}^{(k)}} \, J(\boldsymbol{\Theta}) = \dfrac{1}{m} \sum\limits_{i=1}^{m}{ \left ( \hat{p}^{(i)}_k - y_k^{(i)} \right ) \mathbf{x}^{(i)}}$