훈련 세트 / 테스트 세트로 나누기

일반화 오차 : 모델에 들어가는 새로운 샘플에 대한 오류 비율
Estimation(추정값) : 테스트 세트에서 모델을 평가해 오차에 대해 얻는 추정값.

홀드아웃 검증

훈련세트를 훈련시킨 후, 테스트 세트를 통해 일반화 오차를 추정하는 과정을 거친다. 수많은 하이퍼파라미터에 따라서 최적의 모델을 찾게 되는데, 이 과정에서 훈련세트가 테스트 세트에 대해 과대적합되는 것이다. 과대적합을 피하려고 일반화 오차가 가장 적을 최적의 모델을 찾는데, 그 과정에서 오히려 과대적합이 되어버리는 것이다.

이를 해결하기 위해서 훈련세트의 일부를 떼어내서 가장 좋은 하나를 선택한다. 이 떼어낸 것을 Validation set(검증 세트)라고 부른다. 다시 말해, 검증세트를 제외한 훈련세트 안에서 다양한 하이퍼파라미터 값을 가진 여러 모델을 훈련시키는 것이다. 그 다음 검증세트에서 성능을 평가하고, 전체 훈련 세트에서 다시 훈련해 최종 모델을 만든다. 그리고 마지막으로 테스트 세트에서 평가해 일반화 오차를 추정한다.

과정 요약
1. 훈련세트A 중 훈련세트a를 떼어낸다.(a = 검증세트)
2. A-a를 훈련시켜 검증세트에서 성능을 평가한다.
3. 2에서 평가한 모델 중 최적의 모델을 전체훈련세트A에 훈련시킨다.
4. 테스트세트에서 A를 평가하고, 그 중 최적의 모델을 찾는다.

이 홀드아웃검증의 문제점은, 훈련세트에서 떼어내게 되는 검증세트의 크기가 너무 작거나 크면 부작용으로 최적의 모델을 선정할 수 없게된다는 것이다. 따라서 작은 검증 세트를 여러개를 사용해 반복적인 Cross-Validation(교차 검증)을 하는 것이다.