Linear Regression의 cost 최소화 알고리즘의 원리

이 cost 함수에서 가장 cost값이 낮은 점을 찾을 수 있다.

• cost값은 어떻게 찾을 수 있을까?
  대표적으로 Gradient descent algorithm이 있음
  Gradient=경사, descent=내려감 => 경사를 따라 내려가는 알고리즘
  이 알고리즘은 minimize cost function이다.
  많은 최소화 과정에 쓰이며, cost(W, b)라는 함수가 주어지면 cost를 최소화를 하는 W,b를 찾을 수 있다. w값이 많은 cost 함수라도 찾을 수 있다.

• 이는 어떻게 작동하는가?
  아무점에서나 시작할 수 있다.
  W나 b를 조금 바꾼 다음에 cost(W, b)를 줄일 수 있음.
  변수를 바꿀 때마다, cost(W,b)를 가능한 최대로 줄어드는 경사를 선택해야 함.
  이 과정을 반복한다.

원래 cost(W)에 미분을 쉽게 하기 위해서 1/2를 곱해준다!

여기서 알파는 상수고 옆에는 코스트함수를 미분한 것. (그 점에서의 기울기)

미분 결과.

3D로 나타낸 cost function. 이는 문제점이 있다. 시작점을 달리했을 때 최소가 되는 점이 서로 다를 수 있기 때문!

반면, convex function은 어디서 시작하든 최소가 되는 점이 일치한다.
따라서 우리가 3차원 function을 쓸 때 이러한 convex funtion인지 확인해야 한다.

참고: https://inf.run/Ndkd