Optimizer (2)

Momentum

Momentum의 사전적 정의는 외부에서 힘을 받지 않는 한 정지해 있거나 운동 상태를 지속하려는 성질이다. 예를 들어, 경사진 곳에서 돌을 굴리면 계속해서 아래로 굴러가려는 성질이라고 할 수 있다.
Momentum은 이러한 성질을 활용하여 고안된 경사 하강법으로 이동할 때 관성을 부여하는 최적화 기법이다.

즉, Momentum은 이전에 이동했던 방향을 기억하면서 이전 기울기의 크기를 고려하여 어느 정도 추가로 이동시킨다. 위의 그림과 같이, 좌측에서부터 경사하강법으로 손실 함수를 줄여나가다가 Local Minimum에 빠질 수 있는 상황에서 momentum 기법을 사용하면 이전 기울기의 크기를 고려해 추가로 이동하기 때문에 이를 빠져나갈 수 있다.
이후 위 그림에서 Global Minimum이라고 표시한 지점에 도달했을 때는 추가적인 관성을 받아도 더 올라갈 수 없기 때문에 이 지점이 Global Minimum이 된다. 이처럼 Momentum은 Local Minimum에 빠지는 경우를 대처할 수 있다는 특징이 있다.

Momentum을 수식으로 나타내면 다음과 같다.

$$v_t=\gamma v_{t-1}+\eta \mathrm{\nabla }f(x_{t-1})$$

: 학습률(Learning rate)

AdaGrad

RMSProp

Adam