Sigmoid vs Softmax

Sigmoid

0~1 사이의 값을 가지는 함수

Softmax

각 클래스의 확률을 계산

0~1 사이의 값을 가지며, 모든 클래스의 값을 더하면 1이다.

Sigmoid vs Softmax

sigmoid는

• binary classification
• 확률의 총합은 1이 아님
• 큰 출력값이 해당 클래스를 가질 가능성이 높다는 것이지만 실제 확률은 아님

softmax는

• multi classification
• 확률의 총합은 1
• 각 클래스의 출력값은 확률을 나타낸다.