[인공지능] 경사하강의 개념

경사하강법

딥 러닝 알고리즘에서 사용되는 최적화 알고리즘 중 하나입니다. 그래프에서 오차를 비교하여 가장 작은 방향으로 이동시키는 방법이 있는데 바로 미분기울기를 이용하는것이다.

경사하강법의 실습

학습률을 0.2 함수를 y=(x-3)^2 + 10이라하고 기울기를 구하기 위해서 미분을 한 후 2x-6에 10을 대입하면 y'의 값은 14가 됩니다.
학습률과 y'의 값을 곱하면 2.8이되게 되고 기울기가 0인 부분을 찾기위해서는 왼쪽으로 이동해야하기 때문에 x가 10인 부분에서 2.8을 빼면 7.8이되고 기울기 2x-6에 다시 7.8을 대입하면 y'의 값은 8.4입니다 이러한 과정을 기울기가 0이 될때까지 반복해주면 최적의 가중치를 찾을수 있습니다.