경사하강법(Gradient Descent)는 함수 f의 주어진 점 (x, f(x))에서 x에 미분값을 빼는 것이다. 경사하강법을 통해 함수의 극소값의 위치를 구할 수 있다. 목적함수를 최소화할 때 사용한다.
경사하강법을 통해 극값에 도달하면 미분값이 0이므로 움직임을 멈춘다는 것을 알 수 있다. 더 이상 값이 업데이트가 안 되므로 목적함수 최적화가 자동으로 끝난다.