앙상블 학습

• 여러 분류기를 하나의 메타 분류기로 연결하여 더 좋은 일반화 성능을 달성하는 것.
• why? 개별 분류기의 약점을 보완하기 위해

1. 과반수 투표

• 50% 이상 투표를 받은 클래스 레이블 선택

2. 다수결 투표

• 가장 많은 투표(최빈값)를 받은 클래스 레이블 선택

**다수결 투표를 이진분류에 적용하면 자동으로 과반수 투표가 된다고 함.

3. 배깅

• 동일한 훈련 데이터셋으로 학습하는 것이 아니라 원본 훈련 데이터셋에서 부트스트랩 샘플을 뽑아서 사용. 즉, 랜덤 부트스트랩 샘플을 추출하고 다수결 투표를 통해 훈련된 개별 분류기를 결합함으로써 모델의 분산을 감소시키는 기법.
  -> 부트스트랩: 중복을 허용한 랜덤 샘플

4. 부스팅: 에이다부스트

• 오차로부터 점진적으로 학습하는 약한 학습기를 기반으로 하는 알고리즘
• 약한 학습기: 매우 간단한 분류기. ex. 깊이가 1인 결정트리
• 중복을 허용하지 않고 훈련 데이터셋에서 랜덤 샘플 추출.