과잉적합에 빠지는 이유

• 가지고 있느 데이터에 비해 훨씬 큰 용량의 모델을 사용
• VGGNet은 분류층에 1억 2천 1백만 개의 매개변수
• 훈련집합 안에서만 높은 정확도가 나오는 과잉적합에 주의해야함

과잉적합을 피하는 전략

• 충분히 큰 용량의 모델을 설계한 다음, 학습 과정에서 여러 규제 기법을 적용

규제

• 모델 용량에 비해 데이터가 부족한 경우의 부족조건문제를 푸는 접근법
• 적절한 가정을 투입

티호노프의 규제(Tikhonov`s regularization)

• 규제를 적용한 목적함수는 목적함수 + 규제항으로 구성

규제시리즈 계속 ->