How does regularization prevent overfitting?
- Lambda를 크게 해서 w를 0에 가깝게 만들 수 있다.
- Weight의 값을 0에 가깝게 하여 더 간단하고 작은 신경망으로 만든다. 이를 통해 overfitting을 막을 수 있다.
- Weight이 0에 가까워지면, activation에 입력값도 0의 근처에 있게 되어있음.
- 이렇게 되면 Sigmoid, Tanh와 같은 Non-linear activation function들이 linear activation처럼 행동함.
- 비선형적인 특성이 줄어들어 overfitting을 방지할 수 있음.
출처 및 참고 자료
- Andrew Ng, Improving Deep Neural Network, DeepLearningAI
