[ML] 모델 학습에서의 편향과 분산

모델 학습 시 발생할 수 있는 편향과 분산에 대해 설명하고, 두 개념의 관계에 대해 설명해 주세요.

1. 편향(Bias)

편향은 모델이 실제 데이터의 패턴을 단순화해서 발생하는 예측 오류의 경향이다. (모델이 실제 데이터의 패턴을 충분히 표현하지 못하는 것) 즉, 너무 단순한 모델일수록 편향이 높아질 가능성 크다.
따라서 모델이 데이터의 복잡성을 제대로 학습하지 못하는 Underfit가 발생하게 된다.

2. 분산(Variance)

분산은 모델이 학습 데이터에 지나치게 의존하여 데이터의 노이즈에 민감하게 반응하는 예측의 불안정성이다. (모델이 데이터의 패턴뿐만 아니라 노이즈까지 학습하는 것) 즉, 너무 복잡한 모델일수록 분산이 높아질 가능성이 크다.
따라서 모델이 학습 데이터를 과도하게 학습하는 Overfit가 발생하게 된다.

3. 편향과 분산의 관계

편향과 분산은 서로 상충(tradeoff) 관계이다. 모델의 복잡성을 조정할 때, 편향을 줄이면 분산이 증가할 수 있고, 분산을 줄이면 편향이 증가할 수 있기 때문이다. 따라서 모델의 복잡성을 적절히 조정하여 편향과 분산의 균형을 맞추는 것이 중요하다.