Logistic Regression

1️⃣Logistic Regression

1. Logistic Regression

• 개념: 일반적인 선형 회귀와는 다르게, 이진 분류 문제를 해결하는 데 사용되는 방법
• 그렇다면 왜 Regression인가? → 결과값은 확률값으로 나오기 때문!

2. Sigmoid function

• 개념: 실제값과 예측값의 차이를 보여주는 함수로, 실수를 0~1 사이의 값으로 매핑해줌
• 특징:
  1. 0일때는 0.5, 무한대는 1로 수렴, -무한대는 0으로 수렴
  2. 비선형적으로 보이지만, 사실 클래스를 분류하는 선을 찾는 함수임

3. Training

• 목표: 클래스 레이블을 가장 잘 재현하는 파라미터 w를 찾는 것
• 방법: 로그 손실(log loss)을 사용하여 훈련
• 특징: 선형 회귀와 달리, 닫힌 형태의 해가 없어서 SGD와 같은 수치적 최적화를 사용하여 해를 찾음

4. Log loss (로지스틱 회귀의 손실 함수)

• 개념: 예측 확률이 실제 레이블과 얼마나 비슷한지를 측정하는 함수σ(wxi): i번째 데이터 포인트 xi가 클래스 1에 속할 확률

---

2️⃣Softmax Regression

1. Softmax Regression

• 개념: 다중 클래스 분류에 사용되는 회귀 방식

2. Softmax function

• 개념: 모델이 각 클래스에 대해 계산한 점수를 0과 1 사이의 확률 값으로 변환해주는 함수

3. Cross-entropy loss

• 개념: 모델의 예측이 실제 정답과 얼마나 다른지를 측정하는 방법

---

3️⃣One-vs-Rest (OvR)

• 개념: 다중 클래스 분류에 사용되는 방식으로, Softmax regression방식 대신, 클래스 개수만큼 logistic regression 분류기를 배치하고 예측하는 방식