logit과 sigmoid와 softmax

---

logit과 sigmoid

logit과 sigmoid 함수는 서로 역함수의 관계이다.
logit은 logist + probit의 합성어로, 오즈에 자연로그를 취한 것이다.
여기서 오즈(odds)란, 클래스 $C_1, C_2$가 있을 때 $C_2$로 분류될 확률에 대한 $C_1$으로 분류될 확률을 의미한다.

$odds(p) = {P(C_1) \over P(C_2)} = {p \over 1-p}$

이는 실패에 대한 성공의 비율이기도 하다.
이에 대해 자연로그를 취하면 logit 함수가 된다.

$logit(\pi)=\log {\pi \over 1-\pi}$

sigmoid는 logit과 역함수 관계이다.

$\log ({\pi \over 1-\pi}) = t$

${\pi \over 1-\pi}=e^t$

$(1+e^t)\cdot \pi=e^t$

$\therefore sigmoid(t) = \pi (t) = {e^t \over 1 + e^t}$

---

Softmax

softmax는 logit으로부터 유도될 수 있다.
$C_1, C_2, ..., C_k$인 클래스 $k$개를 생각하자.
$i$번째 클래스 $C_i$와 $k$번째 클래스 $C_k$의 비율은 다음과 같다.

$t_i = \log {P(C_i) \over P(C_k)}$

${P(C_i) \over P(C_k)} = e^{t_i}$

여기에 $1$부터 $k-1$까지 합을 구하면,

$\sum_{i=1}^{k-1} {P(C_i) \over P(C_k)} = {1-P(C_k) \over P(C_k)} =\sum_{i=1}^{k-1}e^{t_i}$

이를 다시 쓰면,

$P(C_k)={1\over 1+\sum_{i=1}^{k-1}e^{t_i}}$

이다. 여기서

${P(C_k) \over P(C_k)} = e^{t_k} = 1$

이고

$P(C_i) = P(C_k) \cdot e^{t_i}$ 이므로,

$\therefore P(C_i)={1\over e^{t_k} + \sum_{i=1}^{k-1}e^{t_i}}\cdot e^{t_i} = {e^{t_i} \over \sum_{i=1}^{k} e^{t_i}}$

이다.