선형회귀와 경사 하강법

선형회귀 (Linear Regression)

선형회귀는 종속 변수 y와 한 개 이상의 독립변수 x 사이의 선형 관계를 모델링하는 기법
독립 변수의 값에 따라 종속 변수를 예측한다

이때에 여러개의 독립변수를 사용한다면 다중 선형 회귀 모델이라고 부른다

예측 함수와 실제값의 차이

예측 함수는 데이터를 기반으로 값을 예측하지만, 예측값과 실제값 간에는 항상 차이가 발생한다
이를 우리는 오차(Error)라고 한다

데이터가 여러 개일때, 예측값과 실제값 간의 오차들이 양수와 음수로 상쇄되지 않도록
오차의 제곱을 사용

비용 함수 (Cost Funciton)와 손실 함수 (Loss Function)
비용함수는 모델 전체에 대해서 예측값과 실제값간의 차이를 최소화하려는 함수

회귀모델에서 자주 쓰이는 비용함수는 평균제곱오차(MSE)로 모든 데이터의
오차 제곱의 평균을 구하는 방식

손실함수는 한 데이터 포인트에 대한 오차를 측정하는 함수
즉, 비용함수는 여러 데이터의 손실 수의 값을 모두 합친 것

이때에 경사 하강법을 통해서 비용 함수를 최소화 할 수 있다

경사하강법 (Gradient Descent)

경사하강법은 비용 함수를 최소화하는 최적의 매개변수를 찾는 방법

경사하강법의 개념은 현재의 매개변수에서 비용 함수의 기울기를 계산하고,
그 기울기에 따라 매개변수를 업데이트하는 것