Validation을 사용하는 이유

결론 ㅣ Validation set은 hyper parameter를 설정하기 위해 사용한다.

training set

• 모델의 학습을 위한 데이터

test set

• 학습이 완료된 모델의 성능 평가를 위한 데이터
• test set은 모델이 보지 않은(unseen)한 데이터여야 함
• 학습 도중, 모델의 성능을 평가하여 hyper parameter를(학습의 방향을) 정하려면 어떻게 해야할까?
  • 만약 test set을 이용한다면, model 입장에서 unseen한 데이터여야만 하는 test set이 seen 해져버림
  • 그럼 train set과 test set의 중간 정도의 성격을 지닌 set를 만들자!

→ validation set

정리

test set : 교과서

validation set : 모의평가

test set : 수능