Cost Function(비용함수)
Model : f w,b(x) = wx + b
w, b = 매개변수(Parameters) → 계수, 가중치
→ w,b의 값에 따라 직선이 어떻게 그려지는지 결정되고, 성능도 결정된다.
여러 관측치를 통해 이 관측치와 가장 유사한 직선을 찾는 것이 목표!
→ 공식 확인(오차 제곱합)
2번 비디오
→ Review
⇒ 왼쪽 그림에서 w=0은 비용함수가 2.3인 반면 w=1에서는 비용함수가 0임.
3번째 영상
→ 보라색 직선이 가장 적합한 직선이니까 등고선이 모여있는 오목한(비용함수가 최소인)지점에 위치할 듯.
경사 하강법 (Gradient Descent method)
→ 선형 회귀 뿐만 아니라 어느 함수에서도 사용 가능.
⇒ w,b을 임의의 값으로 정하고 시작함.(0,0)
⇒ 비용함수를 줄이기 위해 w,b 값을 계속 수정해나감.
⇒ 이 과정을 우리가 최소 지점에 도달할 때까지(bowl shape이 아닐 시 미니멈 포인트가 여러 개 나올 수 있음.)
⇒ 함수가 울퉁불퉁한 경우에는 오차제곱합 아님.(비용함수)
→ 선형 회귀가 아니기 때문
Gradient Descent Algorithm
→ w와 b 값을 업데이트하는 것에는 비용함수를 w 또는 b에 대해 미분한 값을 일정 파라미터(알파, 이는 학습률(learning rate))를 곱해 빼는 것이 일반적.
W와 b 값이 동시에(simultaneously) 갱신(Update)되어야 함!
기울기 값을 통해 미분 값의 양/음을 파악할 수 있음.
Gradient Descent for Linear Regression
w에 대해 미분했을 때 → 위의 식
b에 대해 미분했을 때 → 밑의 식
GLOBAL MINUMUM과 LOCAL MINIMUM 문제는 오차 제곱합을 비욯함수로 썼을 때 CONVEX 형태가 되기 때문에 문제가 되지 않음!
BATCH 용어 → 모든 훈련 예제에서 경사하강법을 시행하는 과정.
그렇지 않은(일부의 예제만 사용하는 경우) → SUBSETS 용어 사용.
