평균제곱 오차(MSE)

• e가 클수록 개선할 점이 많다는 것

• 실제적으론 오른쪽 e값이 큰데 경사도 갱신은 적게 일어남
• 목적지로 가는 속도가 느려짐

• 왼쪽 시그모이드 함수, 오른쪽 시그모이드 함수의 도함수
• 가로축의 양쪽에서 경사도가 매우 낮음
• 학습이 더딘 부정적 효과

교차 엔트로피(cross entropy)

• 정답 y가 {0, 1}에 속할때 P는 정답, Q는 예측출력

• 이런 확률분포 수식이 나옴

• 교차 엔트로피 공식에 따라

• 현재 0,1이라는 정답이 주어진 상황에선 위의 식으로 정리가 되고
• 잘못된 손실은 무한대로, 잘된 손실은 0값이 나오게 됨

• 교차 엔트로피에 따른 y(레이블)값과 o(예측) 값의 식은 위와 같이 정리가 되고

• 각 결과를 가정하고 e값을 비교하자면
  y가 1, o가 0.98일 때 e값이 0.0291
  y가 1, o가 0.0001일 때 e값이 13.2877

• 오차가 크고작음에 따라 e 값도 크고 작아짐을 확인(목적함수의 조건)

교차엔트로피를 통한 경사도

• x(o-y) 라는 경사도 값이 나옴

• RMS 와는 다르게 오차값이 큰쪽에 경사도 크기가 더 커짐

• 깊은 신경망에서 각 출력에 대한 교차엔트로피 값은

• 위식으로 정리할 수 있음