퍼셉트론의 최적의 파라미터를 찾는 과정에서 회귀의 개념이 필요하다.

머신러닝, 딥러닝에서의 회귀

여러개의 독립 변수와 한 개의 종속 변수간의 상관관계를 모델링 하는 기법을 통칭함. 예를들어
Y = W1 X1 + W2 X2 + W3 X3 + W4 X4 .... Wn * Xn
에서 Y는 종속변수
X1, X2 ...., Xn은 독립변수
W1, W2 ...., Wn은 회귀 계수를 말한다.
여기서 우리는 학습을 통해 최적의 회귀 계수를 찾아내는 것이 머신러닝, 딥러닝에서의 회귀예측이다.
이 그림에서 Data points가 실제 값이고, Linear regression이 회귀식을 그래프로 나타낸 것이다. 여기서 실제값과 그래프값의 오차를 최소화 하는 회귀 계수를 찾아내야 하는 것이다.

그렇다면 최적의 회귀계수를 어떻게 찾아나가야 할까? 이것을 알기위해선 먼저 RSS와 MSE에 대해서 알아야한다.

RSS와 MSE

RSS

RSS는 오류 값의 제곱을 구해서 더하는 방식이다.
절댓값을 사용할 수도 있지만, 일반적으로는 미분 등의 계산이 필요하기 때문에 이를 편리하게 하기 위해서 RSS로 오류합을 구한다.
쉽게 말하자면 오류값의 제곱이 RSS 인 것.
예를 들어 f(x)=W0 + W1 x 가 예측 모델이라 하면,
RSS=(#1Y - (W0 + W1 #1x))^2 + (#2Y - (W0 + W1 #2x))^2 + .... + (#nY - (W0 + W1 #nx))^2 인 것이다. 이를 수식화하면 아래와 같다.

여기서 중요한 점은 독립변수 x와 종속변수 y가 중심변수가 아니라 회귀변수 w가 중심변수임을 인지하는 것이다. 이는 후에 다룰 경사하강법에서 w를 중심변수로 편미분을 진행하기 때문이다.

MSE

MSE는 RSS를 학습 데이터의 건수N으로 나누어서 표현한 것이다. 아래는 MSE를 수식화 한것이다.

회귀에서 이 MSE는 비용(cost)이고 회귀 계수 w로 구성되는 MSE를 비용 함수(Cost function) 또는 손실 함수(Loss function)이라고 한다,
머신러닝 회귀 알고리즘은 데이터를 계속 학습하면서 이 비용 함수가 반환 하는 값, 즉 오류값을 점진적으로 감소시키고, 가장 최소의 오류값을 찾는 것을 목표로 한다.