Regularization

• 해당 post는 다음 출처 사이트의 내용을 정리한 부분이다.
• Weight Decay Post: https://deepapple.tistory.com/6

Regularization

• 학습에서 발생하는 에러가 아닌 평가를 위한 테스트상에서 발생하는 에러(generalization error)를 줄이기 위하여 학습 알고리즘을 수정하는 기법이다.

• Weight Decay는 Regularization의 가장 대표적인 기법이다.

• 데이터가 단순(데이터 규모가 작다)하고 모델이 복잡(파라미터가 많다)하면 학습을 하면서 굉장히 작은 값이었던 weight들의 값이 점점 증가하면서 overfitting이 발생하게 된다.
• weight값이 커질 수록 학습 데이터에 더 많은 영향을 받고, 학습 데이터에 딱 맞는 모델이 만들어 진다.