[Math] Gradient Descent

Hyunwoo Lee·2022년 1월 18일

함수의 최솟값 근사

x - af'(x)

a는 학습률
위 식을 반복한다.

입력이 벡터인경우 편미분을 이용한다.

$e_i$ 는 i번째 값만 1이고 나머진 0인 단위벡터

\partial_{xi} f(x) = \lim _{h\to0} \frac {f(x+he _i) - f(x)}{h}

f(x, y) = x^2 + 2y^2

∇f = (2x, 4y)

gradient\ vector = -∇f = (-2x, -4y)

gradient vector를 화살표로 표현하면 각 점에서 최솟점으로 가장 빠르게 감소하는 방향과 같다.

10분만 쉬어요