Bias-Variance Trade off
- Bias
- Bias는 모델이 "예측이 정답에서 일정한 방향으로 벗어나는 경향"을 뜻 함.
- 높은 Bias이란 모델이 훈련 데이터를 충분히 학습하지 못하거나, 모델이 너무 간단해서 항상 틀리는 방향이 일정하다는 의미다.
- 낮은 Bias은 모델이 훈련 데이터를 잘 학습하고, 실제 데이터를 정확하게 예측하려고 한다는 의미다.
- Variance
- 분산(Variance)은 모델이 "매번 예측이 얼마나 달라지는지"의 정도를 뜻함.
- 높은 분산은 모델이 훈련 데이터에 너무 민감하게 반응하여, 훈련 데이터가 조금만 바뀌어도 예측이 크게 달라지는 상황을 의미함. 즉, 훈련 데이터에 과도하게 적합되어 예측이 불안정함.
- 낮은 분산은 모델이 훈련 데이터에 너무 민감하지 않고, 훈련 데이터가 바뀌어도 예측이 일관성 있게 유지되며, 새로운 데이터에 대해서도 잘 일반화된다는 의미임.
Train set과 Validation set의 관계
Basic Recipe for ML
- 원인이 Bias인지 Variance인지에 따라 대처법이 달라진다. 따라서 Bias가 문제인지 Variance가 문제인지 정확히 판단하는 것이 중요하다.
출처 및 참고 자료
- Andrew Ng, Improving Deep Neural Network, DeepLearningAI
