경사하강법
- SGD 방법은 1차 미분을 활용한 경사 하강법
- 현재 기계 학습의 주류 알고리즘
- 경사도에 잡음이 있는 문제가 잇음
- 위 문제를 2차 미분 정보를 활용하려고 함
경사하강법을 더 빠르게?
- 파란 경로는 현재 경사하강법이 해를 찾아가는 과정
- 1차 미분으로는 빨간 경로를 찾을 수 없음
- 도달한 다음 도착지에 대한 기울기만 알 수 있기 때문
- 뉴턴 방법은 2차 미분 정보를 활용해 빨간 경로를 알아냄
1차 미분 최적화 & 2차 미분 최적화
1차 미분의 최적화
2차 미분의 최적화
- 경사도와 헤시안을 사용해 2차 근사 사용
- 근사치의 최소값