[딥러닝] Sigmoid function, Cost function of Logistic regression

1. Sigmoid function

• 아래 항목들을 따라가며 sigomid function을 유도해보자.

1.1. 정의

• binary 사건 Y의 발생 확률

  • $P(Y=1) = p$
  • $P(Y=0) = 1-p$

• 오즈(odds): 성공 확률과 실패 확률의 비율

  • $odds = {p \over 1-p}$

• 로짓(logit): odds의 로그 변환

  • $logit(p) = \log({p \over 1-p})$
  • 0에서 1까지의 확률을 실수 전체의 범위로 변환하는 역할

1.2. Logistic regression

• 위의 logit에 선형 회귀 모형을 적용한 것을 Logistic regression이라고 한다.

  • $\log({p \over 1-p}) = \beta_0 + \beta_1x_1 + \cdots + \beta_kx_k$

• 여기서는 독립변수 $X$가 1개인 simple logistic regression으로 식을 전개해보자.

1.3. Sigmoid function과 그래프

위의 수식 전개를 통해 구한 p에서 $z = \beta_0 + \beta_1x$로 치환하면 sigmoid function을 아래와 같이 나타낼 수 있다.

• Sigmoid function
  $\sigma(z) = {1 \over 1 + e^{-z}}$

• If $z$ is large, $\sigma(z) \approx {1 \over 1 + 0} = 1$
• If $z$ is large negative, $\sigma(z) \approx 0$

2. Logistic regression의 Cost function

• Logistic regression
  • $\hat{y} = \sigma(w^Tx + b)$, where $\sigma(z) = {1 \over 1 + e^{-z}}$

2.1. Loss function

• $L(\hat{y}, y) = -(y \log{\hat{y}} + (1-y) \log{(1-\hat{y})})$

  • If $y=1$, $L(\hat{y}, y) = -\log{\hat{y}}$
    $\hat{y}$이 0에 가까우면 loss값이 커지고, $\hat{y}$이 1에 가까우면 loss값이 0으로 수렴한다.

  • If $y=0$, $L(\hat{y}, y) = -\log{(1-\hat{y})}$
    $\hat{y}$이 0에 가까우면 loss값이 0으로 수렴하고, $\hat{y}$이 1에 가까우면 loss값이 커진다.

  즉, 예측값 $\hat{y}$들이 실제값 $y$들을 잘 맞힌다면 아래 정의한 cost가 작아지고, 많이 틀린다면 cost가 커진다.

2.2. Cost function

• $J(w, b) = {1 \over m} \sum_{i=1}^{m} L(\hat{y}^{(i)}, y^{(i)}) = -{1 \over m} \sum_{i=1}^{m}[y^{(i)} \log{\hat{y}^{(i)}} + (1-y^{(i)}) \log{(1-\hat{y}^{(i)})}]$