🤚 [참고] 아직 ML에 입문한지 한달밖에 안된 머린이가 복습을 위해 '자신만의 언어로' 정리한 글입니다.🤚

이번 sprint에서 Overfitting(과적합)에 대해 배웠다. 분산(variance)라던지, 편향(bias)이라던지, 분산편향트레이드오프(!)라던지 조금 복잡해 보이는 용어들이 나와 참 와닿지 않은 파트였다. 그래서 블로그에 정리하며 한번더 개념을 다잡아보고자 한다.

목표는 일반화의 관점에서 오버피팅과 언더피팅을 설명해보자! 이다.

무턱대고 이렇게 말하면 조금 막막한 감이 없잖아 있지만, 흐름에 따라 한번 개념들을 알아가보면, 이 글의 끝에서는 이게 되네? 의 기적을 경험할 것이다.

본격적으로 오버피팅에 대해 알아보기 전에, 우선 편향과 분산에 대한 개념을 알고 있는 것이 좋다.

1. 편향과 분산

1.1 편향이란?

나는 train 데이터(파란점들)로 회귀선을 만들고자 한다. 어떠한 선을 만드는 것이 좋을까? (그림 출처 StatQuest!!!)

왼쪽의 그래프를 보면 직선 회귀선이 모든 데이터를 정확하게 지난다고 할 수 있을까? 아니다. 보다싶이, 선과 데이터간 떨어진 거리의 합이 구불선보다 훨씬 크다.

여기서 우리는 편향의 개념에 대해 말할 수 있다.

편향이란 회귀선이 데이터들을 얼마나 잘 맞추고 있는지를 말한다.

편향이 작을수록 회귀선이 데이터를 잘맞추고, 클수록 잘 못맞춘다. (데이터에 대한 이해도로 생각하면 편향이 작을수록 이해도가 높고, 편향이 클수록 이해도가 낮다.)

고로,
직선의 경우, 편향이 크고
구불선의 경우, 편향이 작았다.

그럼 편향이 작은 오른쪽 회귀가 좋은 것일까?
우리는 지금 train data에 대한 편향만 보았다는 사실을 잊어선 안된다. (아직 test data가 남았죠..)

2.2 분산이란?

위 사진을 보면 아까의 파란 점을 제외한 초록점이 바로 test data이다. 아까의 회귀선에 test data가 뿅하고 생기니깐 바로 문제가 생긴다.

바로 train에서 너무 잘 맞았던 오른쪽 구불 회귀선이 test data에서는 영 힘을 쓰지 못한다는 것이다. (오히려 왼쪽 직선 회귀선이 두개의 데이터셋을 놓고 봤을때 더 나은 것처럼 보인다.)

우리는 여기서 분산이 어떤 것인지 알 수 있다.

train 데이터와, test 데이터 사이의 차이. 이것이 바로 분산!

그렇다면 이 두개의 dataset에서 분산이 큰 그래프는 무엇일까?
그렇다, train데이터에서는 완벽하게 들어맞았지만, test데이터에서는 영 힘을 못쓰던 구불선이다. 직선 회귀선은 비교적 분산이 작다고 할 수 있다.

그럼 우리는 여기서 하나의 결론에 다다를 수 있다.

편향이 클수록 분산은 작아지고,
편향이 작을 수록 분산은 커진다.

이를 우리는 분산편향트레이드오프라고 한다.
이해가 안되면 먼저 train 그래프에서 어떤 것이 작은지 살펴보고, test데이터에서 어떤 것이 분산이 큰지 살펴보면 바로 감이 올 것이다.(혹은 반대로 살펴봐도 무방하다.)

이제 오버피팅과 언더피팅에 대해 알아볼 차례이다. 하지만 놀랍게도 우리는 위에서 분산과 편향에 대해 알아보며 오버피팅의 개념에 대해 이미 접근했다!

2. 오버피팅과 언더피팅

아까 분산과 편향을 설명할때 썼던 그래프를 다시 보자.

우선, 오른쪽의 구불 회귀선을 보자.
구불 회귀선은 아까의 train 데이터에서 너무나도 fit된, 곧 편향이 작은 회귀선이었다. 하지만 test데이터에서는 어떤가? 완전히 제 구실을 하고 있지 않다.

이처럼 너무 과도하게 학습되어 train데이터에서는 완벽하게 작동하지만 test데이터에서 제 기능을 못하게 된 것을 overfitting이라고 한다.

다음으로 왼쪽의 직선 회귀선을 보자.
우선 구불선보다는 사정이 낫다. 편향이 조금 높지만, 분산이 비교적 낮고, 구불선보다는 제 기능을 하고 있다. 하지만 이런 linear회귀선에는 문제가 있다. 바로 underfitting될 가능성이 높다는 것이다.

underfitting이란 train(데이터 해석)이 제대로 되지 않은 것이다.

underfit된 모델은 편향이 높다. (데이터 해석이 제대로 안되었기 때문에 회귀선이 데이터들에게 맞추지 못한 것이라고 생각)

3. 일반화란?

일반화란 무엇인가?
우리는 위에서 과분산(오버핏)의 경우와 과편향(언더핏)의 경우를 보며 깨달은 점이 있다.

BEST는 과분산도, 과편향도 아닌 그 반대, 적은 편향과, 적은 분산

적은 편향을 가지면, 곧 데이터 해석과 이해가 잘되었다는 것이고, 적은 분산을 가지면 train 데이터, test 데이터의 차이가 (여기서 차이는 각 데이터들과 회귀선의 떨어진 거리의 차를 말한다.) 얼마 없다는 것이다.

이처럼 적은 편향과 적은 분산을 가진 회귀를 일반화가 잘되었다고 한다.

4. 정리

위-왼 : 낮분, 낮편 : 일반화가 잘된 모델
위-오 : 높분, 낮편 : 오버피팅
아래-왼 : 낮분, 높편 : 언더피팅
아래-오 : 높분, 높편 : 죽도 밥도 안된 완벽한 언더피팅

이쯤에서 우리의 목표를 상기시켜보도록 하자.

목표는 일반화의 관점에서 오버피팅과 언더피팅을 설명해보자! 이다.

아마 어렵지 않을것이다.

일반화가 잘 되지 않은 모델일 경우, 오버피팅과 언더피팅의 문제가 생긴다!