Overfitting

Overfitting

오버피팅이란 과적합이라고도 하며 모델의 파라매터들을 학습 데이터에 너무 가깝게 맞췄을 경우 발생하는 현상이다.

위 그림에서 점이 데이터라고 하고 모델이 데이터를 너무 오래 학습해버리면 저렇게 극단적인 함수가 나온다. 이는 일반화 측면에서 당연히 좋지 않다.

오버피팅 막는 법

데이터

오버피팅을 막기 위해서는 우선 데이터를 먼저 봐야한다. 우리가 다루는 데이터는 대부분 모집단이 있고 그 표본집단을 다루게 되는데 우리의 표본(데이터)가 모집단을 대표할 수 있는지를 따져봐야한다. 즉, 모집단의 분포와 얼마나 비슷한지를 봐야한다.

당연하게도 우리가 다룰 데이터들은 모집단에 비해 극히 일부이므로 일반화 성능을 높이기 위해선 데이터를 늘리는 것이 가장 확실한 방법이다.

가지고 있는 데이터에 Augmentation을 적용해 데이터를 늘린다면 다양성을 조금 더 확보할 수 있다.

Regularization

오버피팅을 막는 또다른 방법 중에 Regularization이 있다.

결국 모델은 마지막 레이어에서 gradient를 구하고 이를 역전파하는 과정에서 학습된다.

따라서 loss함수에 Regularization 즉 규제를 달아준다면 학습에 발목을 잡게 되어 과적합할 가능성을 낮춰준다.