로지스틱 회귀

Contents

1. 시그모이드 함수
2. 이진 로지스틱 손실 함수
3. 소프트맥스 함수

위키에 따르면 로지스틱 회귀는 종속변수와 독립변수간의 관계를
구체적인 함수로 나타내어 예측 모델에 사용하는 것입니다.

또한 로지스틱 회귀는 이진 분류의 대표적인 알고리즘 입니다.

# 01 - 시그모이드 함수

시그모이드 함수 (로지스틱 함수라고도 불림) 의 치역의 범위는
0부터 1까지 입니다. 시그모이드 함수의 그래프 개형은 아래와 같습니다.

로지스틱 회귀에서는 시그모이드 함수를 사용하게 됩니다.
로지스틱 회귀는 선형 회귀와 동일하게 선형 방정식을 학습합니다.
그리고 선형 방정식의 y값을 시그모이드의 x값에 대입하여
최종적인 확률을 구하게 됩니다.

따라서 시그모이드 함수의 공식은 다음과 같습니다.
$H(X) = \frac{1}{1+e^-(Wx+b)} = sigmod(Wx+b) = \sigma(Wx+b)$

위 시그모이드 함수의 개형은 W = 1, b = 0으로 가정한 개형입니다.
W와 b의 값이 바뀌면 시그모이드 함수의 개형도 바뀝니다.

W의 값이 커질수록 그래프의 경사가 커지고 b값이 바뀜에 따라 함수가 이동합니다.

# 02 - 이진 로지스틱 손실 함수

로지스틱 회귀 또한 선형 회귀와 동일하게 경사 하강법을 사용하여
가중치인 W의 값을 구하지만 비용 함수로는 평균 제곱 오차를 사용하지 않습니다.

시그모이드 함수에 비용 함수를 평균 제곱 오차로 하여 그래프를 그리면
다음과 비슷한 그래프 개형이 그려지게 됩니다.

위와 같은 그래프 개형이 그려지게 되어서 경사하강법을 수행 할 때에
로컬 미니멈 문제가 생길 수 있습니다.

위와 같은 문제 때문에 로지스틱 회귀에서는 이진 로지스틱 손실 함수 를 사용합니다.
로지스틱 손실함수는 이진 크로스 엔트로피 손실함수로도 불립니다.
이진 로지스틱 손실 함수는 다음과 같습니다.

if $y = 1$ -> $-\log(H(x))$
if $y = 0$ -> $-\log(1-H(x))$

따라서 최종적인 이진 로지스틱 손실함수 는 다음과 같습니다.

$J(W) = -\frac{1}{n} \sum_{i=1}^{n} [y^{(i)}logH(x^{(i)}) + (1-y^{(i)})log(1-H(x^{(i)}))]$

$y^{(i)}$ 는 로지스틱 회귀가 분류한 결과값 (0 or 1) 입니다.
$H(x^{(i)})$ 는 로지스틱 회귀의 예측값 (0~1의 확률) 입니다.

# 03 - 소프트맥스 함수

로지스틱 회귀는 이진 분류를 할 때에 시그모이드 함수를 이용하지만
다중 분류는 시그모이드 함수가 아닌 소프트맥스 함수를 사용하게 됩니다.

소프트맥스 함수의 공식은 다음과 같습니다.

$e^{z_{i}}$ 는 로지스틱 회귀가 학습한 $i$번째 클래스에 대한 방정식의 결과값 입니다.
$e^{z_{i}}$ 의 평균값을 낸 것이 바로 소프트맥스 함수의 결과값입니다.