출처: 모두를 위한 딥러닝 강좌 시즌 1 by Sung Kim

Linear Regression의 cost 최소화

Hypothesis and Cost

• cost를 최소화 시키는 W와 b를 구하는 것이 목적

simplified hypothesis

• 설명을 위해 간략화된 hypothesis와 cost

W의 값에 따른 cost의 변화를 나타낸 그래프

경사 하강법(Gradient Descent Algorithm)

• 위에 제시된 그래프에서처럼, cost를 최소화하기 위해서 경사를 따라 내려가는 방법
• 많은 최소화 문제에서 사용됨
• 주어진 비용 함수 cost(W, b)애 대해서, 이 방법은 비용을 최소화하는 W와 b를 찾을 것임 (더 일반적인 다른 경우에도 많이 사용)

경사 하강법 작동 원리

• 임의의 지점에서 탐사 시작
• W와 b를 조금씩 바꿔보면서 cost(W, b)를 줄이려고 노력함
• 이렇듯 W와 b라는 파라미터를 바꿀때마다 cost를 줄여주는 gradient(경사 - 미분 적용)를 고르게 되며, 이 과정을 계속 반복
• 결국 local minimum(극소점)에 수렴하게 됨 (시작점에 따라서 종료 지점이 달라질 수 있음.)
  - 항상 최소점에서 수렴하게 된다는 보장이 있는 것은 아니기 때문
  

수식

미분 시 계산의 편의를 위해 아래와 같이 수식 변환

• 비용 함수를 미분하면 나타나는 경사는 이동할 방향과 크기를 나타냄
• 알파(α)는 learning rate로, 매 step마다 정해진 기울기를 W에 얼마만큼 반영하여 움직일 지를 정하는 파라미터임

미분 절차

• 미분된 식을 여러 번 실행시키면, cost를 최소화하는 값이 정해지게 되는 것임

시작점에 따라 도달하게 되는 극소점(local minimum)이 달라지게 될 수 있음

우리의 cost function이 아래로 볼록한 모양을 가지는 convex funciton임을 확실히 해야 함

• 다행히 위의 cost function은 밥그릇 모양 같이 생긴 convex function(아래로 볼록한 함수)이기 때문에 시작점에 상관없이 원하는 지점에 도달할 수 있다. (maybe global minimum)