[Deep Learning] Gradient Descent

📖 케라스 창시자에게 배우는 딥러닝 (프랑소와 숄레, 박해선, 길벗) 참고

🎈 Gradient Descent

변화율

f(x) = y 라는 연속적인 함수에서 x를 epsilon_x만큼 증가시키면 y가 epsilon_y만큼 바뀌게 된다.

f(x + epsilon_x) = y + epsilon_y

그리고 이 함수에서 epsilon_x가 충분히 작다면 어떤 포인트 p에서 기울기 a의 선형 함수로 f를 근사할 수 있다. 즉, epsilon_y는 a * epsilon_x이다.

f(x + epsilon_x) = y + a * epsilon_x

이 기울기를 p에서 f의 변화율(도함수)이라고 한다. 변화율의 크기는 f(x)의 증가나 감소가 얼마나 빠르게 일어나는지 알려준다.

그래디언트

텐서 연산의 변화율을 의미한다. 입력 벡터 x, 행렬 W, 타깃 y와 손실함수 loss가 있을 때 w를 사용하여 타깃의 예측 y_pred를 계산하고 y_pred와 타깃 y 사이의 오차를 계산할 수 있다.

y_pred = dot(W, x)
loss_value = loss(y_pred, y)

입력 데이터 x와 y가 고정되어 있을 경우 loss_value = f(W) 라고 볼 수 있다.

W의 현재 값을 W0이라고 할 때 W0에서 f의 변화율은 W와 같은 크기의 텐서 gradient(f)(W0)이다. 이 텐서의 각 원소 gradient(f)(W0)[i, j]는 W0[i, j]를 변경했을 때 loss_value가 바뀌는 방향과 크기를 나타낸다. gradient(f)(W0)는 W0에서 f(W)의 기울기를 나타내는 텐서이다.

f(W)에 대해서 그래디언트의 반대 방향으로 W를 움직이면 f(W)의 값을 줄일 수 있다.

🎈 예시와 그림으로 경사하강법 이해하기

위 그래프는 기온에 따른 빙수 판매율을 나타낸 것이다. 기온이 높을 수록 빙수 판매율이 높다.

빙수 판매율을 예측하는 머신러닝 모델을 만든다고 생각하고 이 때 머신은 함수라고 생각해보자!
(사실 머신은 함수만 포함되는 것은 아니다. 다른 형태도 존재하지만 이해를 위해서 잠시 함수로 생각하자)

직선을 하나 그렸다. 이 직선은 y = wx + b라는 함수로 나타낼 수 있다. 이 때 w는 기울기, b는 y절편이다.
현재 저 직선은 점들의 분포를 잘 나타내고 있지 않다. 다시 말해 우리가 가진 데이터를 잘 표현하지 못한다. w와 b를 바꿔보자!

보라색 직선에서 w와 b의 값을 변경하여 파란색 직선을 그렸다. 이 직선은 우리의 데이터를 잘 표현하고 있다! 우리가 변경한 w와 b는 parameter라고 부른다. 즉, 우리는 방금 parameter update를 통해 데이터를 잘 표현할 수 있는 직선을 그린 것이다! 이렇게 만들어진 직선을 우리는 model이라고 부른다!

우리가 만든 모델은 기온이 x1일 때 y_hat의 빙수 판매율을 예측하고 있다. 하지만 실제 빙수 판매율은 y이다. y - y_hat, 즉 그래프에서 노란색 빗금으로 칠해져있는 부분이 바로 실제값에서 예측값을 뺀 에러이다. 우리는 이 에러가 최대한 작은 모델을 만들고 싶다.

모델이 1번 화살표를 따라 이동하면 오차가 점점 줄어든다. 하지만 다시 2번 화살표를 따라 이동하면 오차가 다시 커지게 된다.

위 내용을 그래프로 나타내면 저런 그래프로 나타낼 수 있다.(parameter가 w와 b가 있지만 우선 w만 고려하자 그리기 어렵다 ..!) 오차가 가장 적은 부분은 바로 접선의 기울기, 미분값이 0이 되는 지점이다.

w1에서의 순간변화율을 구해보면 +값이 나올 것이다. w1에서 dw1(w1의 순간변화율/기울기/미분값)을 빼면 w2로 이동하게 된다. 즉 최솟값에 가까워지는 것이다!

이번엔 w1에서 순간변화율이 -값이다. w1에서 dw1을 빼면 우측으로 이동하여 w2로 이동하게 될 것이다. 역시 최솟값에 가깝게 이동하게 된다.

하지만 미분값이 너무 커서 위 그림처럼 최솟값으로 가까워지는 것이 아니라 오히려 에러가 커지는 경우가 있을 수도 있다. 이 경우 발산하게 되어서 학습이 되지 않는 문제가 발생할 수 있다. 이를 방지하기 위해 w = w - dw가 아니라 w = w - r * dw라는 수식을 이용한다. 이 때 r은 학습률로 0 ~ 1 사이의 값을 가진다.