Logistic Regression
- traget 변수가 category(범주형) 일때 사용되는 classification(분류) 알고리즘
- binary output일 때 사용 => 0 or 1
Threshold (한계점)
- 만약 threshold가 0.5보다 내려가면? -> class 1로 예측되는 경우 多
=> Conservative decision(보수적인 의사결정)
-cancer의 가능성 예측(medical decision)과 같은 예측에 따른 risk가 있는 문제들은 조금의 가능성이라도 있을 때 위험군으로 다 예측해버리는 게 더 good이므로 보수적으로 의사결정하는 것이 좋다!
Mathematical Representation
최적화 방법1: Min cost func == Max likelihood
최적화 방법2: Newton's Method
- 뉴턴 방법: ℓ(세타)를 최대화하는 방법
GD, Newton's method 비교
1.GD: 선형 수렴 속도, 多 반복 횟수, 반복 당 cost 낮음, 대규모 문제에 효과적
2. Newton: 이차(quadratic) 수렴 속도, 적은 반복 횟수, Hessian 행렬 계산으로 인한 반복당 비용 매우 높음, 최적점(optima)에 가까울 때 효과적
즉, 솔루션에 근사하고 dataset이 너무 크지 않을 때 newton 사용
