1. logistic regression

• sigmoid함수를 최종 출력으로 하는 Binary Classificaiton 문제에 사용
• 선형결합의 출력에 sigmiod함수로 추가한 형태

2. Odds Rate 와의 관계

• $Odds = p / (1 - p)$ 이고, $ln(Odds)$를 하니 확률에 따라 값의 범위 제한을 없앤 logit 함수를 찾음
  

• logit 함수를 역함수로 하면 logit으로 확률 $p$를 찾을 수 있는 모델을 만들 수 있음

• 그렇다면 logit을 선형회귀의 결과로 가정하면? 확률을 구할 수 있는 모델이 됨

• $\ln\left(\frac{\hat{y}}{1-\hat{y}}\right)$식을 $\hat{y}$에 대해 정리해보면 $sigmoid$ 함수를 도출

• 선형결합의 수식 자체가 로그 오즈를 계산하고 잇었던 것
  $logit(z) = ln(Odds) = \ln\left(\frac{\hat{y}}{1-\hat{y}}\right) = \mathbf{w}^T \mathbf{x} + b$
  $Odds = p / (1 - p)$ → 특정 $data$에서의 승산

• $Odds Ratio = exp(\beta_i)$ → $w_i$가 1 증가할 때 odds의 변화 비율

2. 하이퍼 파라미터

penalty

• Overfitting을 방지하기 위한 기법

• Binary Cross-Entropy를 최소화 하도록 문제를 정의
  $L_{BCE}(\mathbf{w}, b) = - \frac{1}{m} \sum_{i=1}^{m} \left[ y^{(i)} \log(\hat{y}^{(i)}) + (1 - y^{(i)}) \log(1 - \hat{y}^{(i)}) \right]$

  • L1 Penalty Regularization
    $L_{L1}(\mathbf{w}, b) = L_{BCE}(\mathbf{w}, b) + \lambda \sum_{j=1}^{n} |w_j|$

  • L2 Penalty Regularization
    $L_{L2}(\mathbf{w}, b) = L_{BCE}(\mathbf{w}, b) + \frac{\lambda}{2} \sum_{j=1}^{n} w_j^2$

  • Elastic Net Penalty Regularization
    $L_{Elastic}(\mathbf{w}, b) = L_{BCE}(\mathbf{w}, b) + r \lambda \sum_{j=1}^{n} |w_j| + \frac{1 - r}{2} \lambda \sum_{j=1}^{n} w_j^2$

C

• Regularization의 강도의 역수
• SVM의 영향을 받아 C값이 작을수록 $\lambda$가 크다는 의미
  $\begin{aligned} Loss(w) &= \text{Loss}(w) + \lambda \cdot \text{Penalty}(w) \\ Loss(w) &= C \cdot \text{Loss}(w) + \text{Penalty}(w) \\ C &= \frac{1}{\lambda} \end{aligned}$