Bias, Variance

Bias 오차

• 얼마나 정답에서 떨어져 있느냐

Variance 편차

• 얼마나 흩어져있느냐

Variance 해결: 여러번 시도

• 성능의 평균으로 계산하는 방법.
• 들쑥날쑥한 성능의 평균치를 찾아보자

1) 무작위 샘플링

2) k-fold cross validation

1. 우선 train과 test set로 나누고
2. train 데이터를 k등분 한다
3. k등분한 데이터가 각각 validation이 되고, 나머지가 train이 되도록 k번 모델링 한다
4. k개의 평균을 낸다.

Bias와 Variance 해결: 데이터 늘리기

• 데이터가 늘어날수록 성능은 향상되지만, 그 것도 어느 순간부터 향상폭이 미세하다.
• 그리고 데이터가 늘어날수록 시간이 오래 걸린다.
• 즉, trade-off 관계

Elbow Method

• 팔꿈치를 찾아라!
• 휴리스틱 방법