경사하강법

Cost function $z =f(x,y)$ 에서 $x$ 와 $y$ 를 $\Delta x$ , $\Delta y$만큼 바꿨을 때, 함수 $f(x,y)$ 값의 변화에 대한 근사식은 $\Delta z = f(x+\Delta x, \; y+ \Delta y) - f(x,\; y)$ 과 같다.
$f(x+\Delta x, \; y+ \Delta y)$이 $f(x,y)$ 보다 작아지는 방향으로 변화하는게 이상적이며 이때 $\Delta z$는 음수이다.

다변수 근사식

이때 근사식 $\Delta z$는 다변수 근사식 (1) 에 따라

아래와 같이 정리된다.

이는 $x$, $y$에서 각각 방향 $\frac{\delta f(x,y) }{\delta x}$ 으로 $\Delta x$ 만큼 움직 인 것과 같으며 다음과 같이 내적으로 표현된다.

내적의 최솟값

결국 Cost function $Z$가 최소가 되기위해서는 백터의 내적인 $\Delta Z$가 최소가 되어야한다. 두 개의 백터 $\vec{a}, \vec{b}$ 가 고정값일 때 둘 사이의 내적이 최소가 되려면 사이각이 $\theta = 180$ 로 반대방향이 되야하며 다음 식처럼 표현할 수 있다.

이때 백터 $\vec{a}, \vec{b}$는 각각 $(\frac{\delta f(x,y) }{\delta x},\frac{\delta f(x,y)}{\delta y} )$ $\cdot (\Delta x , \Delta y)$ 이다. Learning rate $\eta$ 기호를 써서 다음과 같이 표현한다.

식 4를 만족하는 $(\Delta x , \Delta y)$이 있다면 $(x+ \Delta x, \; y+ \Delta y)$ 로 이동했을 때 $z$가 최솟값을 가진다.

1. 가장 가파른 기울기를 가지는 방향으로 조금씩 이동하며 점을 찾는다.
2. 1번절차를 반복하여 함수의 최솟값에 도달하는 것을 목표로 한다.