- ai (머신러닝 알고리즘, 딥러닝 알고리즘)를 학습시킨다는 것은 데이터를 통해서 목적식을 최적화한다는 말로 풀이할 수 있다.
- 답을 알 수 없는 복잡한 구조에서 목적식의 최적의 값을 찾아 내기 위해서 고안한 방법이 경사 하강법이다.
- 경사하강법의 핵심이론은 다음과 같다.
- 어떤 함수 f(x)에 대해서 x = x0 인 점에서 x = x0 - f’(x0)으로 이동하면 함수값이 작아지는 방향으로 이동한다.
- (수리적으로 더 엄밀하게 설명 할 수도 있지만, 경사하강법이 채택하는 알고리즘을 더 알맞게 설명하는 것은 위 이론이라고 생각한다)
- 이를 더 자세하게 풀어서 설명하면 다음과 같다.
- 도함수의 미분값은 그 함수가 증가하고 있는지 감소하고 있는지 알려주는 정보이다.
- 인수 값(x0)에 도함수의 미분값(f’(x0))을 빼준다는 말은 해당 인수 값에서 함수가 증가하는 방향과는 반대로 인수 값을 이동시킨다는 말과 같다. 즉, 함수값이 작아지는 방향으로 인수를 업데이트한다는 말이다.
- 이와 같은 방법을 반복하여 함수값이 작아지는 인수값을 찾아낼 수 있다.
