Gradient Descent에 대해서 쉽게 설명한다면?

면접 대비 답변

볼록한 형태의 그래프에서 최소값을 찾기위한 방법으로 한 점에서의 미분값에 따라 그 기울기가 0이 되는 방향으로 이동하는 방식으로 최소점을 찾아가는 알고리즘이다.

선형회귀나 분류 등 우리가 접하게 되는 문제들의 loss(cost) 함수의 경우 아래로 볼록한 형태를 띄기 마련이고, 이 함수의 최소값을 구하는 방식으로 학습이 이루어지기 때문에 경사하강법을 활용해서 원하는 결과를 얻을 수 있다.

상세 내용

Reference