[DL] Gradient Descent - 경사하강법, 편미분, Local Minimum

0. 목차

1. Perceptron
2. 경사하강법
   • 경사하강법
   • 편미분
   • Local Minimum
3. 데이터 처리

1. 경사 하강법

• 미분계수를 이용해 함수의 최솟값을 찾아가는 방법
• Loss가 최소가 되는 지점(W)을 찾아가는 방법

Loss는 예측한 값에서 실제 값을 뺀 값의 제곱을 의미합니다.

2. 편미분

• 미분은 접선의 기울기

$기울기 = y의 변화량 / x의 변화량$

이다.

• 편미분은 다변수 함수의 특정 변수를 제외한 나머지 변수를 상수로 간주하여 미분하는 것

3. Local Minimum

위의 그림을 살펴보면 Local minimum과 Global Minima가 나온다.

이를 2차원 평면에서 다시 그리면

해당 그래프로 표현이 될 수 있다.

y값이 가장 낮은 부분이 Global Minima에 해당되고, 미분계수(접선의 기울기)가 0인 부분이 Local minimum에 속하게 된다.

우리가 도달해야하는 곳은 Global Minima인데, 어떤 w 값(가중치)은 Loss Function이 가장 낮은 구간(Global Minima)이 아니라 Local minimum에 도달하게 된다.

그래서 빠지게 되는 문제를 Local Minimum 문제라고 한다.

정리하면

w(가중치) 값의 시작점에 따라 Local minimum에 빠질 수 있다.