선형 회귀는 종속 변수 y와 독립 변수 x와의 선형 관계를 모델링하는 방법이다. 이때 독립 변수 x는 하나일수도, 여러 개일수도 있으며 독립 변수를 통해서 종속변수 y를 예측할 때 사용한다. 또한 독립 변수가 연속형일때는 수치예측, 범주형일때는 분류로 사용할 수 있다.
전 글(Linear Regression)에서 cost function을 다뤄봤다.cost의 총 합을 줄이는 것이 목표인데 이때 사용하는 방법이 Gradient Descent(경사 하강법)이다.경사 하강법은 cost function을 미분하여 미분값이 낮은 최저점을 찾