[논문리뷰] Adam: A Method For Stochastic Optimization

1. Introduction

https://arxiv.org/pdf/1412.6980.pdf

Adam은 2015년 ICLR에 게제되어 현재 딥러닝 모델 loss 함수 최적화를 위해 가장 많이 사용되는 방법으로, SGD와 같이 Stochastic objective function에 대한 first-order gradient-based optimization 기법 중 하나이다.

💡 Contribution
1. 적은 양의 메모리 사용
2. Invariant to diagonal rescaling of the gradients
3. Appropriate for non-stationary objectives and problems with very noisy and/or sparse gradients

2. Main Algorithm

Error함수인 $f$는 가중치 $\theta$에 대한 stochastic 함수이다. 따라서 stochastic하게 optimization을 수행하므로 우리는 f의 기대값인 $\mathbb E[f]$의 최소값을 찾는 문제를 해결해야 한다. $g$는 $f$를 $\theta$에 대해 미분한 gradient 함수이다.

$\beta_1,\beta_2$는 모두 $[0,1)$의 범위에 속하며 $g_0, v_0$의 값은 0임을 염두하고 알고리즘을 살펴보자.

먼저 Momentum의 컨셉을 담은 $m$을 update하는 부분을 살펴보자. momentum $m$은 결국 현재까지의 gradient들의 가중 평균이다. 이 평균값(기대값)은 매 번 바뀌며, 아래 식 처럼 평균값은 지수적으로 움직인다. ( exponentially moving averages of the gradient($m_t$) )

또한 $v$는 아래 식처럼 지수적으로 움직이는 기울기의 제곱값의 가중 평균이다. ( exponentially moving averages of the squared gradient($v_t$) )

하지만 이 moving averages들, $m$과 $v$는 초기에 0으로 설정되어 있기 때문에, moment를 0에 치우치게 추정하려는 경향이 생긴다. 특히 초기 timestep 동안과 beta가 1에 가깝게 설정되어 있는 경우에 말이다. 하지만 다행히 이 initialization bias 문제는 그림 1 while문 내의 $\hat{m}$와 $\hat{v}$에 해당하는 bias-corrected 방법(section 3)으로 쉽게 해결할 수 있다.

3. Initialization bias correction

논문의 Section 3에는 initialization bias correction에 관한 설명이 나온다. 앞서 말했듯이 first-order gradient, $m$과 second-order gradient, $v$가 0에 치우치게 추정하는 문제를 해결하기 위한 방법이다. Second-order인 $v$에 대해 먼저 알아보자.

우리는 궁극적으로 $v$의 기대값이 $g^2$의 기대값과 같길 바란다. 즉, $v$가 squred gradient를 잘 추정하길 바란다.

Section 2의 $v_t$에 대한 식을 (2)에 그대로 적용했다.

그림 2에 위 수식을 덧붙여 이해해나가면 결국, $\mathbb{E}[v]$에 $1/(1-\beta^t)$를 곱하면 $\mathbb{E}[g^2]$와 유사하게 되므로, $\frac{1}{(1-\beta^t)}$를 곱해주어 bias 문제를 해결한다.

$m$에 대해서도 같은 방법으로 접근하면 된다.