Softmax Classification [06]

Softmax

기계학습 문제는 분류와 회귀로 나뉜다.
일반적으로 분류에는 소프트맥스 함수를, 회귀에는 항등 함수를 사용한다.

소프트맥스 함수의 식

소프트맥스 함수 구현 시 주의점

컴퓨터로 계산할 때 결함이 있다. 오버플로우문제이다.
소프트맥수 함수는 지수 함수를 사용하는데, 지수 함수란 것이 쉽게 아주 큰 값을 내뱉는다.
가령 e¹⁰은 20,000이 넘고, e¹⁰⁰은 0이 40개가 넘는 큰 값이 되고, e¹⁰⁰⁰은 무한대를 뜻하는 inf가 되어 돌아온다.
그리고 이런 큰 값끼리 나눗셈을 하면 결과 수치가 '불안정' 해진다.
오버플로우를 막을 목적으로는 입력 신호 중 최댓값을 이용하는 것이 일반적이다.

Cross Entropy

❔ Cross Entropy

실제 분포q에 대해 알지 못하는 상태에서, 모델링을 통해 구한 분포인 p를 통해 q를 예측하는 것이다.
p와 q가 모두 들어가서 크로스 엔트로피라고 한다.

크로스 엔트로피에서 실제값과 예측값이 맞는 경우에는 0으로 수렴한다.
값이 틀릴 경우에는 값이 커지므로, 실제값과 예측값의 차이를 줄이기 위한 엔트로피라고 볼 수 있다.