앙상블(Ensemble)

• 여러 개의 예측 모델을 결합하여 강력한 모델 구축
• 개별 모델의 약점 보완 및 일반화 성능 향상에 활용
• 배깅(Bagging)과 부스팅(Boosting) 기법이 있다.

배깅(Bagging)

• 동일 알고리즘으로 부트스트랩 샘플을 만들어 개별 모델 학습

  부트스트랩

  기존 데이터셋에서 복원 추출을 통해 새로운 데이터셋을 만드는 방식

• 독립적인 모델들의 결합으로 최종 예측 수행
• 병렬 계산이 가능해서 효율적이다
• ex. Random Forest

  Random Forest

  배깅의 한 기법.
  학습 과정:

  1. 부트스트랩 샘플링으로 새 데이터셋을 생성
  2. 각 데이터셋에서 결정 트리를 무작위로 생성. (특성도 무작위로 선택)
  3. 생성된 다수의 결정 트리에 대해 다수결 투표로 최종 예측

부스팅(Boosting)

• 약한 학습기들을 이용해 순차적으로 모델 학습
• 이전 모델의 오차를 보완하도록 새로운 모델 학습
• AdaBoost: 잘못 분류된 샘플에 가중치 부여
• gradient boosting: 잔차(residual) 예측 모델. 오차 점진적 감소

n_estimators 파라미터의 역할 비교

구분	배깅(Bagging)	부스팅(Boosting)
n_estimators 역할	독립적인 개별 모델의 수 지정	이전 모델 오차를 보완하는 새 모델 순차 추가
모델 가중치	모델 간 동등한 가중치	데이터에 대한 가중치 다름
효과	분산 감소	모델 복잡도/성능 향상