출처: 모두를 위한 딥러닝 강좌 시즌 1 by Sung Kim

---

Logistic Regression의 비용 함수

선형 회귀에서 사용한 비용함수를 Logistic Regression에 그대로 적용하게 되면, 울퉁불퉁한 모양의 함수가 나와 local minimum에 빠지기 쉽게 된다.

로지스틱을 위한 새로운 비용 함수

• 로지스틱 함수에 쓰인 지수 함수에 상극이 되는 로그 함수를 비용 함수에 사용하는 것이 기본적인 아이디어임.
• 결과인 y의 값에 따라서 예측값이 y에서 멀어질수록 굉장히 높은 cost를 가지도록 고안된 함수

y = 1일 때

$C(H(x), y)$ = $-\log{(H(x))}$

y = 0일 때

$C(H(x), y)$ = $-\log{(1 -H(x))}$

이렇게 두 개의 함수를 붙이면 볼록 함수의 모양이 나오게 됨

그런데 항상 y 값에 대한 if 조건문을 달게 되면 실제로 사용하기가 까다롭기 때문에 두 조건에서의 식을 한꺼번에 고려하도록 식을 수정하여 사용함

$C(H(x), y)$ = $-y\log{(H(x))} - (1-y)\log{(1-H(x))}$

경사 하강법

• 기존에 선형회귀 함수에서와 마찬가지로 미분을 이용해서 경사하강을 반복적으로 수행하면 됨
• 라이브러리를 사용하면 꼭 직접 미분할 필요는 없음