[머신러닝] 다시 공부하는 머신러닝 3일차 Softmax Regression

Softmax Regression

저번 시간에 sigmoid 함수를 이용한 Logistic regression을 배웠다. 목적은 이진분류를 위해 사용되었다. 이번 시간은 데이터가 Multiclass로 분류되어야하는 경우,다중 분류 모델에 대해서 이야기해 볼 것이다.

Softmax Function

• 다중 분류 문제를 위한 비선형 함수
• $y_i = \frac{e^{x_i}}{\Sigma_{k=1}^K e^{x_k}}$

결국, softmax function도 input을 확률의 성질을 만족하는 output 값으로 변환해줌

Cross Entropy Loss

Softmax function을 사용하여 MLE로 Loss 값을 표현할 수 있다.

• $L = \Pi_i\;p(y_i=c|X_i) = \Pi_i\;softmax(w^TX_i)^{y_i}$
• $L_{CE} = -\ln{L} = -\Sigma_i^ny_i\ln{(softmax(w^TX_i))}$
• 이 때, $y_i = [0,0,0,\cdots,1,\cdots,0]$

Cross Entropy Loss도 $w$로 편미분을 진행하게 되면 Gradient descent를 구현할 수 있게 된다.