[Deep Learning] Overfitting, Underfitting

📖 케라스 창시자에게 배우는 딥러닝 (프랑소와 숄레, 박해선, 길벗) 참고

🌸 Optimization & Generalization

Optimization(최적화)는 가능한 훈련 데이터에서 최고의 성능을 얻기 위해 모델을 조정하는 과정, 즉 머신러닝이 학습하는 과정이다. Generalization(일반화)는 훈련된 모델이 이전에 본 적 없는 데이터에서 얼마나 잘 수행되는지 의미한다. 모델을 만드는 목적은 좋은 일반화 성능을 얻는 것이지만 일반화 성능을 제어할 수는 없다.

🌸 Underfitting

과대적합과 반대로 모델이 훈련 데이터에 있는 관련 특성을 모두 학습하지 못한 경우가 바로 Underfitting, 과소적합이다. 훈련 데이터이 손실이 낮아질수록 테스트 데이터의 손실이 낮아지며 모델의 성능이 계속 발전될 여지가 있는 경우이다.

🌸 Overfitting

학습한 결과가 Training Data에만 최적화된 모델에 대해 Overfitting, 과대적합되었다고 표현한다. 즉, 모델 생성 시 활용하지 않은 데이터에 대해서는 성능이 급격하게 낮아지는 것을 의미한다. 과대적합은 모든 머신 러닝 문제에서 발생한다. 과대적합을 방지하는 가장 좋은 방법은 더 많은 훈련 데이터를 모으는 것이다. 하지만 현실적으로는 이미 주어진 훈련 데이터 외에 더 많은 훈련 데이터를 모으는 것이 불가능한 경우가 대다수이다.

그렇기 때문에 과대적합을 피하기 위한 처리 과정인 규제가 존재한다.

L1 Regularization

L2 Regularization

Elastic Net

Dropout