과소적합, 과대적합

일반화(generalization)
모델이 테스트데이터에 대해 높은 성능을 내도록 하는 것

과소적합(Under-fitting)
모델이 너무 간단하여 성능을 낼 수 없는 상태

과소적합 해결방법

• 파라미터가 더 많은 모델 선택
• 모델의 제약 줄이기

과대적합(Over-fitting)
모델이 너무 상세하여 오히려 새로운 입력에 대하여 정확히 동작하지 않는 상태
훈련데이터에서는 높은 성능을 보이나 테스트데이터에서는 낮은 성능을 보임
에러의 합은 작으나 올바로 예측한 모델이라고 할 수 없음

과대적합 해결방법

• 훈련데이터 확보
• 정규화
• 훈련데이터 노이즈 제거

규제화(Regularization)
가중치에 제약을 걸어 가중치를 낮추고 파라미터를 줄이는 효과를 만들어 모델을 간단하게 만드는 효과를 만드는 것

규제화의 종류

• L1 규제화
  대부분의 가중치를 0으로 만든다.

• L2 규제화
  가중치 제곱을 최소화하여 가중치를 0에 근사하게 만든다.