앙상블ensemble
- 서로 다른 여러 개의 모델을 결합해 일반화 오류를 줄이는 기법
- 현대 기계 학습은 앙상블도 규제로 여김
모델의 구성
- 서로 다른 신경망 여러 개를 학습
- 같은 구조를 사용하지만 다른 초기값과 하이퍼 매개변수를 다르게 설정하고 학습
예시
- 배깅bagging (훈련집합을 여러 번 샘플링하여 서로 다른 훈련집합을 구성)
- 부스팅boosting(i번째 예측기가 틀린 샘플을 i+1번째 예측기가 잘 인식하도록 연계성을 고려, 나중에 합침)
모델 평균(model averaging)
- 여러 모델의 출력에서 평균을 구하거나 투표해 최종 결과 결정