머신러닝은 무작정 데이터를 넣고 학습시키고 평가하는 것이 아니라, 준비된 데이터 셋을 우선 훈련(Training)용과 평가(Testing)용으로 나누는데, 이때 훈련용 데이터 셋의 비중을 더 크게 두고, 훈련용 데이터 셋은 또 훈련용과 검증(Validation)용 데이터 셋으로 또 분류를 한다.
여기서 훈련용 데이터는 기계에게 학습을 시키기 위해 넣어주는 데이터, 검증용 데이터는 모델의 성능을 조절하는 데이터, 즉 과적합(Overfitting)의 여부를 가리거나 하이퍼파라미터의 조정을 위한 데이터이다.
여기서 하이퍼파라미터란, 초매개변수를 뜻하는데, 모델의 성능에 영향을 주는 사람이 값을 지정하는 변수라고 한다. 매개변수(가중치와 편향. 학습을 하는 동안 값이 계속해서 변하는 수)와 달리 사람이 직접 값을 저장할 수 있으며 경사 하강법에서 학습률(learning rate)이나, 딥 러닝에서 뉴런의 수나 층의 수와 같은 것들이 대표적인 하이퍼파라미터라고 한다.
반면, 가중치와 편향과 같은 매개변수는 사용자가 결정해주는 값이 아니라 모델이 학습하는 과정에서 얻어지는 값이다. 훈련용 데이터로 훈련을 모두 시킨 모델은 검증용 데이터를 사용하여 정확도를 검증하며 하이퍼파라미터를 튜닝(tuning,검증용 데이터에 대해서 높은 정확도를 얻도록 하이퍼파라미터의 값을 바꿔보는 것)을 한다. 이렇게 튜닝하는 과정에서 모델은 검증용 데이터의 정확도를 높이는 방향으로 점차적으로 수정되는 값이다. 즉, 사람은 가중치와 편향값을 조절하는 것이 아니라 하이퍼파라미터의 값을 조절하는 것이다.****
튜닝 과정을 모두 끝내고 모델의 최종 평가를 하고자 한다면, 훈련용과 검증용 데이터로 모델을 평가하는 것이 아닌, 아직 한번도 사용되지 않은 최종 데이터 셋인 평가용 데이터 셋을 이용해야 한다. 모델은 검증용 데이터의 정확도를 높이기 위해서 수정되어져 온 모델이기 때문이다. 수학능력시험을 준비하는 수험생으로 비유하자면 훈련 데이터는 실제 공부를 위한 문제지, 검증 데이터는 모의고사, 테스트 데이터는 실력을 최종적으로 평가하는 수능 시험이라고 이해하기 쉬운 비유를 들어 주었다.
