모델의 가설함수를 너무 간단하게 혹은 너무 복잡하게 설계하게 되면 관계를 잘 학습하지 못한다. 따라서, train set과 test set 모두에서 모델이 얼마나 일정한 성능을 보여주는지를 평가하는 것이 중요하다. 이때 등장하는 개념이 편향과 분산이다.
편향(Bias)은 모델의 평균적인 예측이 정답과 얼마나 떨어져 있는지를 나타낸다. 가정이 너무 단순(선형)할 때 값이 크게 나타나며, 편향값이 크면 데이터를 충분히 줘도 성능이 잘 안 오르고 훈련 오차도 크게 나타난다. 편향이 크면 모델이 과소적합(Underfitting)일 가능성이 높다.
분산(Variance)이란 데이터셋 별로 모델이 얼마나 일정한 성능을 보여주는지를 표현한다. 분산이 크다는 것은 모델 예측이 값에 따라 크게 달라진다는 것을 의미하며, 이는 모델이 training data의 잡음(noise)까지 완전히 외워버렸다고 해석할 수 있다. 분산이 높은 모델은 훈련 성능은 매우 좋으나, 검증 성능이 잘 나오지 않는다는 특징이 있으며 과적합(Overfitting)의 가능성이 높다.
모델이 단순할수록 편향은 높아지고 분산은 낮아진다. 반대로 모델이 복잡해지면 편향은 낮아지고 분산은 높아진다. 편향과 분산은 이렇듯 시소처럼 움직이는데, 이를 Bias-Variance가 Trade-off 관계에 있다고 말할 수 있다. 따라서 모델링을 할 때에는 편향과 분산이 모두 낮은 균형(Balance)를 찾는 것이 중요하다.
이미지 출처:
https://cristianefragata.medium.com/machine-learning-bias-and-variance-26b6ee572af
https://analystprep.com/study-notes/cfa-level-2/quantitative-method/overfitting-methods-addressing
https://365datascience.com/tutorials/machine-learning-tutorials/overfitting-underfitting
https://en.wikipedia.org/wiki/Bias%E2%80%93variance_tradeoff
