Training Error vs Test Error

우리는 아래과 같이 Training Error와 Test Error를 정의하고 사용한다.

종류	정의	사용
Training Error	통계적 예측 기법을 사용하여, training에 사용된 관측치를 훈련시키는 과정에서 계산된 에러	-
Test Error	통계적 예측 기법을 사용하여, training에 사용되지 않은 새로운 관측치를 예측해볼 때 얻어지는 평균 에러	우리의 목표는 Test Error를 최소화하는 모델을 만드는 것이다!

• Training Error Rate와 Test Error Rate는 다르다.

Model이 Ground-Truth와 가장 비슷한 복잡도를 가질 때 최적의 Test Error를 갖는다. 위의 그래프에서 확인해보면, 붉은 선으로 그려진 Test Sample의 Curve가 최하의 y 값을 가질 때가 최적이다.

편향-분산 트레이드 오프와 트레이닝vs테스트셋 성능을 생각해보면, x축(Model Complexity)이 좌측일수록 Bias는 커지지만 Variance는 작아지고, 우측일수록 Bias는 작아지지만 Variance는 커짐을 알 수 있다.

따라서 최적의 Model Complexity를 넘기는 과적합(OverFitting) 문제가 발생하면 Test Error가 최하점에서 다시 증가하는 것을 알 수 있다.

References
1. RPubs by RStudio