선형회귀 (Linear Regression)와 성능 측정 지표

• 모델을 훈련 시킨다는 것은 모델이 훈련 세트에 가장 잘 맞도록 모델 파라미터를 설정하는 것이며 이를 위해 훈련 세트에 얼마나 잘 맞는지 측정해야 함

• 회귀에서 가장 널리 사용되는 성능 측정 지표는 평균 제곱근 오차(RMSE)이다.

• 즉, RMSE를 최소화하는 $\theta$를 찾아야 함

• 실제로는 RMSE보다 평균 제곱근 오차(MSE)를 최소화하는 것이 같은 결과를 내면서 더 간단함

선형모델은 입력 특성의 가중치 합과 편향(bias, 또는 절편 intercept)이라고는 상수를 더해 예측한다.

• 오차가 더 커질수록 값이 더 커지므로 예측에 얼마나 오류가 있는지 가늠하게 해줌

• RMSE와 MAE 모두 예측값의 벡터와 타겟값의 벡터 사이의 거리를 잼

• 절대값의 합을 계산하는 것은 $l_2$ norm 에 해당하며, ||·||로 표기

• norm의 지수가 클수록 큰 값의 원소에 치우치며, 작은 값은 무시됨

• 따라서 RMSE가 MAE보다 조금 더 이상치에 민감함