경사 하강법

1. 원리

1) 미분

미분을 활용하면 변수를 어떤 방법으로 Update해야 하는지 알 수 있다.

2) Gredient

2차원 공간에서는 단순 미분을 활용해 y값이 줄어드는 방향을 구할 수 있었다.

하지만 n차원 공간에서는 gredient를 활용해 y값이 줄어드는 방향을 구할 수 있다.

3) 코드

# 1. 현재 변수에 대해서 gradient를 구한다.
# 2. 이 gradient를 기준으로 x의 값을 update
# 3. 위 과정을 특정 조건까지 반복한다.
while grad > eps:
	x = x - lr * grad
    grad = gradient(x)