ch5.2 단순 선형 회귀

1. 단순 선형 회귀 정의
   단순 선형 회귀는 독립변수 1개, 종속변수 1개를 가진 회귀 모델을 말한다. 즉, 직선 형태!

2. 오류 값 = 잔차 값

   실제 값과 예측 값의 차이를 오류 또는 잔차라고 한다. 오류 합 계산 방법은 아래와 같다.

   1) MAE (Mean Absolute Error)
   오류에 절댓값을 취하여 더함

   2) RSS (Residual Sum of Square)
   오류 값의 제곱을 더함

   최적의 회귀 모델을 만든다는 것은, 이러한 잔차 합이 최소가 되는 모델을 만든다는 의미임과 동시에 잔차 합이 최소가 될 수 있는 최적의 회귀 계수를 찾는 것을 의미한다.

ch5.2 비용 함수

일반적으로 오류 합 계산 방법은 미분 등의 계산을 편리하게 하기 위해 RSS를 많이 사용하며, RSS는 학습 데이터 건수인 N으로 나누어 아래와 같이 정규화된 식으로 표현할 수 있다.

회귀에서 RSS는 비용 (Cost) 이며, 회귀 계수로 구성되는 RSS를 비용 함수라고 한다.

머신러닝 회귀 알고리즘은 데이터를 학습하며 이 비용 합수가 반환하는 오류 값을 지속해서 감소시키고, 최종적으로 더 이상 감소하지 않는 최소의 오류 값을 구한다. 이때, 비용 함수를 loss function 이라 한다.

Reference

파이썬 머신러닝 완벽 가이드 교재