로지스틱 회귀 모형

choyunjeong·2025년 1월 15일

회귀분석 제 3판 - 박성현

목록 보기
8/8

1. 로지스틱 회귀

(1) 기본 개념

로지스틱 회귀(logistic regression)는 독립 변수의 선형 결합을 이용하여 사건의 '발생' 가능성을 예측하는 데 사용되는 통계 기법이다.

로지스틱 회귀의 목적은 일반적인 회귀 분석의 목표와 동일하게 종속 변수와 독립 변수간의 관계를 구체적인 함수로 나타내어 향후 예측 모델에 사용하는 것이다. 이는 독립 변수의 선형 결합으로 종속 변수를 설명한다는 관점에서는 선형 회귀 분석과 유사하지만 선형 회귀 분석과는 다르게 종속 변수가 범주형 데이터를 대상으로 하며 입력 데이터가 주어졌을 때 해당 데이터의 결과가 특정 분류로 나뉘기 때문에 일종의 분류 (classification) 기법으로도 볼 수 있다. 로지스틱 회귀모형은 일반적인 선형 모형(generalized linear model)의 특수한 경우로 볼 수 있으므로 선형 회귀와 유사하다. 하지만, 로지스틱 회귀의 모델은 종속 변수와 독립 변수 사이의 관계에 있어서 선형 모델과 차이점을 지니고 있다.

  • 종속 변수 y의 결과가 범위 [0,1][0,1]로 제한됨.

  • 종속 변수가 이항 변수이기 때문에 조건부 확률 P(y ∣ x)P(y\ |\ x)의 분포가 정규분포 대신 이항 분포를 따름.

\\[40pt]

(2) 로지스틱 회귀 함수 원리

YY는 확률값으로 범위가 [0,1][0,1]이지만 독립변수의 범위는 (−∞,∞)(- \infty,\infty)으로 이를 단순히 선형 회귀 분석을 하면 YY의 범위가 [0,1][0,1]를 벗어나는 결과가 나오기 때문에 예측의 정확도만 떨어진다. 독립 변수가 (−∞,∞)(- \infty,\infty)의 어느 숫자이든 상관 없이 종속 변수 또는 결과 값이 항상 범위 [0,1][0,1] 사이로 반환해주기 위해 오즈(odds)를 로짓(logit) 변환을 해준다.

  • Odds\text{Odds}

    0<Odds=Pr(Y=1∣x)1−Pr(Y=1∣x)<∞0 < \text{Odds} = \dfrac{\text{Pr}(Y=1|x)}{1-\text{Pr}(Y=1|x)} < \infty

  • 로짓 변환

    −∞<logit (p)=log⁡(p1−p)<∞-\infty < \text{logit }(p) = \log\left(\dfrac{p}{1-p}\right) < \infty

따라서 양변의 범위가 (−∞,∞)(- \infty,\infty)로 일반적인 선형 회귀 모형을 이용할 수 있다.

log⁡(p1−p)=Xβ\log\left(\dfrac{p}{1-p}\right)=X\beta

위 모형을 지수화 해주면 범위가 [0,1][0,1]인 확률값이 반환된다.

p=Pr(Y=1∣x)=eβ⋅X1+eβ⋅X=11+e−β⋅Xp = \text{Pr}(Y=1|x) = \dfrac{e^{\beta\cdot X}}{1+e^{\beta\cdot X}} = \dfrac{1}{1+e^{-\beta\cdot X}}

참고로 y=0y=0 확률은 다음과 같다.

Pr(Y=0∣x)=11+eβ⋅X\text{Pr}(Y=0|x) = \dfrac{1}{1+e^{\beta\cdot X}}

이렇게 임의의 숫자를 0~1사이로 변환시키는 함수가 로지스틱 함수이며 이를 시그모이드 함수라고도 한다.

\\[40pt]

(3) 다중 로지스틱 회귀 함수 원리

예측하고자 하는 분류가 두 개가 아니라 여러 개가 될 수 있는 경우 다항 로지스틱 회귀 분석(Multinomial Logistic Regression)을 사용한다. 이 방법의 기본 아이디어는 로지스틱 회귀 분석을 확장하는 것이다.

log⁡{Pr(Y=k)Pr(Y=K)}=X⋅βk\log\left\{\dfrac{\text{Pr}(Y = k)}{\text{Pr}(Y = K)}\right\}=X\cdot\beta_k

위 모형을 지수화하면 다음과 같이 된다.

Pr(Y=k)=Pr(Y=K)⋅eX⋅βk,1≤k<K.\text{Pr}(Y=k) = \text{Pr}(Y=K)\cdot e^{X\cdot\beta_k}, \quad 1\le k < K.

모든 KK 개의 확률의 합은 1이므로 위 식의 좌변의 합은 다음과 같다.

Pr(Y=1)+Pr(Y=2)⋯+Pr(Y=k−1)=1−Pr(Y=K)\text{Pr}(Y=1) + \text{Pr}(Y=2) \cdots + \text{Pr}(Y=k-1) = 1 - \text{Pr}(Y=K)

이 결과를 우변의 합과 비교하면

1−Pr(Y=K)=∑j=1K−1Pr(Y=j)Pr(Y=K)=1−∑j=1K−1Pr(Y=K)⋅eX⋅βk=11+∑j=1K−1eXβk,1≤k<K.\begin{aligned} 1 - Pr(Y=K) &= \sum_{j=1}^{K-1}\text{Pr}(Y=j) \\[10pt] \text{Pr}(Y=K) &= 1-\sum_{j=1}^{K-1}\text{Pr}(Y=K)\cdot e^{X\cdot\beta_k} \\[10pt] &= \dfrac{1}{1+\sum_{j=1}^{K-1}e^{X\beta_k}}, \quad 1\le k < K. \\[10pt] \end{aligned}

k<Kk<K인 경우는

Pr(Y=k)=eX⋅βk1+∑j=1K−1eX⋅βk,1≤k<K.\text{Pr}(Y=k) = \dfrac{e^{X\cdot\beta_k}}{1+\sum_{j=1}^{K-1}e^{X\cdot\beta_k}}, \quad 1\le k < K. \\[10pt]

\\[40pt]

2. 로지스틱 회귀 계수 추정

지금까지 수리통계학, 회귀분석에서 배운 추정방법으로 최소제곱법, 최대가능도 추정 방법이 있다. 로지스틱 회귀 모형도 최대가능도 추정 방법을 사용하지만 미분이 불가능하므로 이전의 편미분한 값을 0이 되도록 하는 방법은 사용할 수 없다. 우선 로지스틱 회귀 모형의 가능도 함수는

∏i=1np(xi)yi⋅(1−p(xi))(1−yi),yi=0 or 1,p(xi)=11+e−Xβ,X={x1,x2,…,xn},β={β1,β2,…,βn}\prod_{i=1}^{n} p(x_i)^{y_i}\cdot (1-p(x_i))^{(1-y_i)}, \\[10pt] \quad y_i= 0\text{ or } 1,\quad p(x_i) = \dfrac{1}{1+e^{-X\beta}}, \quad X = \{x_1,x_2,\ldots,x_n\},\quad \beta = \{\beta_1,\beta_2,\ldots,\beta_n\}

와 같고 로그 가능도 함수는 다음과 같다.

∑i=1n{yilog⁡p(xi)+(1−yi)log⁡(1−p(xi))}\sum_{i=1}^{n} \left\{y_i\log p(x_i) + (1-y_i)\log(1 - p(x_i))\right\}

이 값을 최대화 하는 것은

J(β)=−1n∑i=1n{yilog⁡p(xi)+(1−yi)log⁡(1−p(xi))}J(\beta)=-\dfrac{1}{n}\sum_{i=1}^{n} \left\{y_i\log p(x_i) + (1-y_i)\log(1 - p(x_i))\right\}

이 값을 최소화 하는 것과 동일하다. 이제 β\beta를 최소로 하는 값을 추정해보자.

∂∂βJ(β)=−1n∑i=1n∂∂β{yilog⁡p(xi)+(1−yi)log⁡(1−p(xi))}=−1n∑i=1n{yi⋅p(xi)′p(xi)X+(1−yi)−p(xi)′1−p(xi)X}=−1n∑i=1n{yi⋅p(xi)(1−p(xi))p(xi)+(1−yi)−(p(xi)(1−p(xi)))1−p(xi)}X=−1n∑i=1n{yi⋅(1−p(xi))−(1−yi)⋅p(xi)}X=1n∑i=1n(p(xi)−yi)X\begin{aligned} \dfrac{\partial}{\partial \beta} J(\beta) &= -\dfrac{1}{n}\sum_{i=1}^{n} \dfrac{\partial}{\partial \beta}\left\{y_i\log p(x_i) + (1-y_i)\log(1 - p(x_i))\right\} \\[15pt] &= -\dfrac{1}{n}\sum_{i=1}^{n} \left\{y_i\cdot \dfrac{p(x_i)'}{p(x_i)} X + (1-y_i)\dfrac{-p(x_i)'}{1 - p(x_i)} X\right\} \\[15pt] &= -\dfrac{1}{n}\sum_{i=1}^{n} \left\{y_i\cdot \dfrac{p(x_i)(1 - p(x_i))}{p(x_i)} + (1-y_i)\dfrac{-(p(x_i)(1-p(x_i)))}{1-p(x_i)} \right\}X \\[15pt] &= -\dfrac{1}{n}\sum_{i=1}^{n} \left\{y_i\cdot (1-p(x_i)) - (1-y_i)\cdot p(x_i) \right\}X \\[15pt] &= \dfrac{1}{n}\sum_{i=1}^{n} (p(x_i)-y_i)X \\[15pt] \end{aligned}

따라서 J(β)J(\beta)의 최솟값은

βjt+1=βjt−α1n∂∂βJ(β)βjt−α∑i=1n(p(xi)−yi)X\beta_j^{t+1} = \beta_j^{t} -\alpha\dfrac{1}{n} \dfrac{\partial}{\partial \beta} J(\beta) \\ \beta_j^{t} - \alpha \sum_{i=1}^{n} (p(x_i)-y_i)X

이런 방식으로 업데이트 해주며 한번의 업데이트에 모든 βj\beta_j가 동시 업데이트 된다. 이를 경사하강법이라고도 한다.

참고차료

profile
choyunjeong
이전 포스트

주성분 분석

0개의 댓글