softmax classification

multinomial classification은 분류해야 하는 클래스가 여러개일 때 하는 것이다. 분류를 할 때, 독립적으로 예측하고 matrix에 값을 담는다. 그렇게 계산을 하면, prediction 값이 행렬로 나올 것이다. 이것을 0~1 사이의 확률로 바꾸어주는 것이 softmax 함수이다.
계산을 하고 나면, 예를 들어, A일 확률은 0.7, B일 확률은 0.2, C일 확률은 0.1, 이렇게 나올 것이다. 이 때, one-hot encoding을 하면 A=1, 나머지는 0으로 맞춰준다. 다시 말해, 가장 큰 값을 1로 주는 것이 one-hot encoding이다.

이렇게 계산을 하면, cost function을 계산해서 cost를 줄여나가야 한다.