Training loss는 점점 낮아지는데 Validation loss가 높아지는 현상
이를 해결하고 적당한 복잡도를 가진 모델을 찾아야한다.
Overfitting을 해결하는 가장 좋은 방법은 데이터를 늘리는 방법이다.
데이터가 부족할때 원본데이터를 가지고 여러가지 방법으로 데이터를 복사하는 방법이 데이터 증강기법
각 노드들이 이어진 선을 빼서 없애서 모델 복잡도는 낮추는 방법
너무 많은 노드들 중 일부만 사용하여 더 좋은 결과를 낼 수 있다.
여러개의 딥러닝 모델을 만들어 각각 학습시킨 후 결과를 비교하는 방법. 컴퓨팅 파워가 충분할때 시도하기 쉽다.
Learning rate를 점진적으로 낮춰서 효율적으로 Local minimum을 찾는 방법.
Learning rate가 줄어들때마다 Error값이 크게 떨어진다.