1. Softmax Regression의 기본 개념 소개

logistic regression에서는 binary classification만 가능했었다.
이를 multi class 구분으로 확장하기 위해 사용되는 것이 softmax이다.

2. Softmax Classifier 의 cost 함수

참고. Logistic cost VS Cross entropy

• Cross entropy 에서는 A or B 로 [1,0] or [0,1] 로써 서로 구분을 하는거지만, Logistic 은 정답이 A라고 했을 때 이게 맞냐 아니냐 , 혹은, B라고 했을때 이게 맞냐 아니냐를 판단하는것이다.
• 따라서, 정답을 A라고 했을때 Ya = 1이기 때문에 Logistic에서 뒤에 텀은 날아가고 앞에 텀인 -log(H(x))만 남고, 이건 결국 Cross entropy에서 Li에 [1,0]를 넣으면 B의 확률이 0이라서 log값이 사라지기 때때문에 두 개의 식은 같은 것이라고 볼 수 있다.

Cost function

softmax classifier의 loss 계산은 어떻게 하는 가, 즉 cost 함수는 어떻게 되는가?
아래와 같다.

• s(y) = 예측값 (softmax 함수를 거쳤으므로, 0부터 1사이의 값을 갖는다.)
• L = 실제 값(Label)
  예측값에 log를 씌워준후 각각의 대응하는 실제 label element들과 다 더해준 값의 음수값이다.

예측이 틀렸을 때, 큰 값을 주게 한다.

참고) log 함수의 그래프

강의 13강 8:10 ~ 이해 안됨 =>

강의 13강 13:38 ~ 이해 안됨

3. Softmax Classifier

실습 14강(Lab 06-1)

4. Softmax Classifier Animal Classification

실습 15강(Lab 06-2)