1. 로지스틱 회귀의 개요

• 로지스틱 회귀(Logistic Regression)는 이진 분류(binary classification) 문제를 해결하는 데 널리 사용되는 지도 학습 알고리즘
• 출력값이 연속적인 수치가 아닌 0 또는 1과 같은 범주형 값을 가질 때 사용됨
• 시그모이드 함수를 활용하여 예측값을 확률 형태로 출력

2. 분류 문제와 결정 경계

• 분류(Classification)는 특정 입력에 대해 출력이 카테고리(클래스)로 나오는 문제
• 대표 예시: 스팸 여부, 종양의 악성 여부, 사기 거래 탐지

일반적으로 출력 레이블은 0(False) 또는 1(True)로 표현함

결정 경계 (Decision Boundary)

• 로지스틱 회귀는 다음과 같은 함수 구조를 가짐:

$f(x) = \frac{1}{1 + e^{-z}}, \quad z = w \cdot x + b$

• 결정 경계는 $z = 0$일 때를 기준으로 정의됨
• 즉, $w \cdot x + b = 0$이 분류 기준
• 결정 경계의 좌우에 따라 y = 0 또는 y = 1로 예측

3. 시그모이드 함수

• 로지스틱 회귀의 핵심 함수는 시그모이드(Sigmoid) 함수

정의:

$g(z) = \frac{1}{1 + e^{-z}}$

• $z \rightarrow +\infty$ 일 때 $g(z) \rightarrow 1$
• $z \rightarrow -\infty$ 일 때 $g(z) \rightarrow 0$
• $z = 0$일 때 $g(z) = 0.5$

출력값은 항상 0과 1 사이이며, 1일 확률로 해석 가능

4. 예측과 분류 기준

• 로지스틱 회귀의 예측값 $f(x)$는 확률로 해석
• 일반적으로 다음과 같은 기준을 사용

임계값 기준:

• $f(x) \geq 0.5$ → y = 1 예측
• $f(x) < 0.5$ → y = 0 예측

0.5는 가장 일반적인 임계값, 문제에 따라 조정 가능

5. 비용 함수 (Cost Function)

제곱 오차는 비선형 분류 문제에 적합하지 않음 → 로그 손실 함수 사용

로지스틱 손실 함수:

$Loss(f, y) = -y \log(f) - (1 - y) \log(1 - f)$

전체 비용 함수:

$J(w, b) = \frac{1}{m} \sum_{i=1}^{m} Loss(f^{(i)}, y^{(i)})$

• $m$: 훈련 샘플 개수
• $f^{(i)}$: $i$번째 예측값, $y^{(i)}$: 실제 레이블

이 함수는 볼록(convex)하여 경사 하강법으로 최적화 가능

6. 경사 하강법 (Gradient Descent)

비용 함수를 최소화하기 위해 반복적으로 가중치와 편향을 조정하는 알고리즘

파라미터 업데이트 식:

$w_j := w_j - \alpha \cdot \frac{1}{m} \sum_{i=1}^{m} (f^{(i)} - y^{(i)}) \cdot x_j^{(i)}$

$b := b - \alpha \cdot \frac{1}{m} \sum_{i=1}^{m} (f^{(i)} - y^{(i)})$

• $\alpha$: 학습률 (learning rate)

학습률이 너무 크면 발산하고, 작으면 수렴 속도가 느림

7. 결정 경계의 확장: 다항 로지스틱 회귀

• 로지스틱 회귀는 다항 특성(polynomial features)을 사용해 복잡한 결정 경계도 학습 가능

예시:

$f(x) = g(w_1x_1^2 + w_2x_2^2 + b)$

• 이 경우 결정 경계는 원형 또는 타원형이 될 수 있음
• 차수가 높아질수록 복잡한 분류 경계 형성 가능

단, 복잡한 모델일수록 과적합(overfitting)에 주의해야 함