Linear Regression

Input Feature와 연속형 출력값 사이의 관계를 설명하는 선형 방정식을 찾는 알고리즘
Input Feature Vector $\mathbf{x}=\left(x_1,x_2,\dots,x_n\right)$에 대응되는 결과값 $y$가 있을 때, $y$를 가능한 한 잘 맞출 수 있는 선형 방정식을 찾는다.

$\hat{y}$이 $y$와 비슷할수록 좋은 선형 회귀 모델이다.
주어진 데이터를 선형 관계로 완벽하게 표현하는 것이 어렵기 때문에, 일반적으로 bias를 식에 추가해 사용한다.

Cost Function

학습

Gradient Descent를 통해 $J\left(\mathbf{w}\right)$의 값이 최소가 되도록 하는 $\mathbf{w}$의 최적치를 구한다.

예측

학습을 통해 가중치 벡터 $\mathbf{w}$를 찾게 되면, 새로운 입력 벡터 $\mathbf{x}'$에 대한 결과 예측값 $y'$은 다음과 같다.