이상적으로는 훈련데이터에서보다 테스트데이터에서 오차가 적게 나오기를 희망하지만 현실적으로 모든 데이터를 얻을 수 없기 때문에 훈련데이터로부터 일반화가 잘 되는 모델을 학습시켜야 한다.
과적합(Overfitting) : 모델이 훈련데이터에만 특수한 성질을 과하게 학습해 일반화를 하지 못해서 테스트데이터에서 오차가 커지는 현상.
과소적합(Underfitting) : 훈련데이터에 과적합도 못하고 일반화 성질도 학습하지 못해서 훈련데이터와 테스트 데이터 모두에서 오차가 크게 나오는 현상.