로지스틱 회귀 (Logistic Regression)

로지스틱 회귀(Logistic Regression)는 이진 분류 문제에서 자주 사용되는 지도 학습 알고리즘입니다.

이름은 회귀지만, 주로 분류 문제를 해결합니다.

연속적인 입력 변수를 받아 범주형 출력을 예측합니다.

---

1. 수식

(1) 선형 결합

로지스틱 회귀는 먼저 입력 변수를 선형 결합합니다.

$z = w_1 x_1 + w_2 x_2 + \cdots + w_n x_n + b = \mathbf{w}^T \mathbf{x} + b$

여기서:

• $\mathbf{x} = (x_1, x_2, \dots, x_n)$ : 입력 변수
• $\mathbf{w} = (w_1, w_2, \dots, w_n)$ : 가중치
• $b$ : 절편(바이어스)

(2) 시그모이드 함수

선형 결합 $z$의 결과를 시그모이드 함수에 통과시켜 확률로 변환합니다.

$\sigma(z) = \frac{1}{1 + e^{-z}}$

이 값은 $0$에서 $1$ 사이의 값을 가지며, 특정 클래스(예: $1$)일 확률을 나타냅니다.

(3) 결정 규칙

확률 $P(y=1 | \mathbf{x}) = \sigma(z)$를 기반으로 분류를 수행합니다.

• $P(y=1|\mathbf{x}) \geq 0.5$이면 $y = 1$
• $P(y=1|\mathbf{x}) < 0.5$이면 $y = 0$

---

2. 손실 함수

로지스틱 회귀는 이항 크로스 엔트로피 손실(로그 손실)을 최소화하도록 모델을 학습시킵니다.

$L(\mathbf{w}, b) = - \frac{1}{m} \sum_{i=1}^m \left[ y^{(i)} \log(\hat{y}^{(i)}) + (1 - y^{(i)}) \log(1 - \hat{y}^{(i)}) \right]$

여기서:

• $m$ : 데이터의 개수
• $y^{(i)}$ : 실제 레이블
• $\hat{y}^{(i)} = \sigma(z^{(i)})$ : 예측 확률

---

3. 예제

(1) 데이터셋

공부 시간 $x_1$	수면 시간 $x_2$	합격 여부 $y$
5	8	1
3	7	1
1	3	0
2	2	0
6	6	1

(2) 모델 학습

경사 하강법(Gradient Descent)을 사용하여 최적의 가중치와 절편을 찾습니다.

로지스틱 회귀 모델을 학습하면 $w_1 = 0.5$, $w_2 = 0.4$, $b = -2$라고 가정합시다.

(3) 새로운 데이터 예측

$x_1 = 4$, $x_2 = 5$일 때 합격 여부를 예측합니다.

1. 선형 결합:

   $z = 0.5 \times 4 + 0.4 \times 5 - 2 = 2$

2. 시그모이드 함수 적용:

   $\sigma(2) = \frac{1}{1 + e^{-2}} \approx 0.88$

3. 결정:

   $0.88 > 0.5 \quad \Rightarrow \quad y = 1$

   
   

즉, 이 학생은 합격할 확률이 88%이며, 합격할 것으로 예측됩니다.

---

4. 장점과 단점

장점

• 구현이 간단하고 해석이 용이함.
• 확률적 출력 제공.
• 선형 분리 데이터에서 좋은 성능을 발휘.

단점

• 선형 분리되지 않는 데이터에선 성능이 낮음.
• 이상치에 민감.

※ 선형 분리가 되지 않는 데이터란

• $n$-차원 공간에서 직선(2D) 또는 초평면(3D)을 그려서 두 클래스를 나눌 수 없는 경우