[ML] 기초 대수학 - Sigmoid & Softmax

1. Logits

• 확률을 다르게 표현하는 것

• 사건이 일어날 확률과 일어나지 않을 확률이 대칭이기 때문에 분석하기 수월하다.

• 마이너스 무한 부터 플러스 무한까지의 구간에서 진행된다.

• 확률을 받아서 Logit 값으로 변환

2. Sigmoid

• Logit과 Sigmoid는 서로 역함수 관계이다.

• Logit을 받아서 확률로 변환

3. Softmax

• sigmoid는 x 하나를 받아서 진행되는데,
  이 것을 general하게 만든 것을 softmax이다.

• 여러 개의 input ( Logit )을 받는다.