Softmax Regression (Multinomial Logistic Regression)

• Multinomial classification
  여러개가 있음
  
  A, B, C 등급이 있음.
  
  A/A가 아님, B/B가 아님, C/C가 아님으로 분류하는 Binary classifiaction을 사용할 수 있음.
  
  3개의 벡터로 각각의 가설 함수를 만들어야 하지만, 하나의 행렬로 간단하게 표현할 수 있다.

Y 벡터의 값들을 0에서 1사이의 값으로 만들고, 그 값들의 합이 1이 되도록 만들고 싶다면?

Softmax를 이용하면 된다. 그럼 앞의 조건을 만족하는데, 이 값들을 각각의 확률로 볼 수 있다.(확률에서 각 사건이 일어날 확률의 합은 1이고, 확률은 0~1 사이의 값을 가짐)

one-hot encoding을 통해서 가장 큰 값을 1로 하고 나머지 값을 0으로 만들어줄 수 도 있다. 여기선 a가 나올 확률이 1

L은 실제 값, S는 예측 값

여기서 L(실제값)이 B일때 연두색은 예측값이 B고 자주색은 예측값이 A다. 전자는 예측 성공, 후자는 실패했다. Cost Function에서 예측을 성공하면 작은 값이 되고, 예측을 실패하면 엄청나게 큰 값을 줘서 시스템에 벌을 줌.

오른쪽 함수 그래프에서 0일 땐 무한대고 1일 땐 0이다.
예측이 맞았을 경우에는 계산을 하면 0이 나오지만, 틀렸을 경우에는 계산을 하면 무한대가 나온다. (A를 예측했을 경우에도 예측이 맞았을 때와 틀렸을 때 동일함)

참고: https://inf.run/Ndkd