🌷앙상블 부스팅 Ensemble Boosting

1. 💡앙상블 학습이란?

여러 개의 머신러닝 모델(약한 학습기)을 결합해 더 좋은 성능을 얻는 기법

✏️ 앙상블 기법:

• Bagging: 병렬적으로 학습(예: 랜덤포레스트) / *부트스트랩 집계하여 학습데이터가 충분하지 않더라도 학습효과가 높음

• Boosting: 순차적으로 학습 (이전 분류기의 학습 결과를 토대로, 다음 분류기의 학습 데이터 샘플 가중치를 조정해 학습을 진행함) / 오답에 대해 높은 가중치를 부여하므로 정확도가 높음. 그러나 이상치에 약함 (예: XGBoost, AdaBoost, GradientBoost)

• Stacking: 크로스 벨리데이션(Cross Validation)으로 데이터를 쪼갬. Base Learner들은 10-fold CV를 해 원본 데이터를 각 fold별로 쪼개어 학습함. 이 결과값과 예측값의 평균을 meta 모델에 사용 -> 최종 모델 생성

*부트스트랩:
통계학에서 사용하는 용어로, random sampling을 적용하는 방법

2. 🚀 부스팅의 핵심 개념

• 잘못 예측한 샘플에 더 집중하여 정확도 향상할 수 있음

• 기본 모델로는 보통 약한 모델 사용함 (ex. 깊이가 얕은 결정 트리)

• 최종 예측은, 여러 모델의 예측을 가중 평균 또는 투표로 함

3. 📚 대표적인 부스팅 알고리즘

1) AdaBoost (Adaptive Boosting)

• 최초의 부스팅 알고리즘 중 하나
• 틀린 샘플에 더 큰 가중치를 부여
• 예측 결과는 각 모델의 가중 합
• 특징: 노이즈에 약할 수 있음.

2) Gradient Boosting (GBM)

• 오차(loss function)의 기울기(gradient) 방향으로 모델을 개선
• 각 단계에서 잔차(residual)를 줄이도록 학습
• 손실 함수 지정 가능 -> 회귀, 분류 모두 적용 가능

3) XGBoost (Extreme Gradient Boosting)

• GBM의 확장 버전 (속도와 성능 개선)
• 정규화, 결측치 처리, 병렬 학습, 조기 종료 지원
• Kaggle에서 널리 사용되는 알고리즘

4) LightGBM

• 리프 중심 성장(Leaf-wise) 방식 -> 속도 빠름
• 대용량 데이터에서 매우 효과적
• 단점: 과적합 주의

5) CatBoost

• 범주형 변수 자동 처리에 강함
• 적은 데이터에도 안정적 성능

4. ✨부스팅과 배깅의 차이

항목	배깅(Bagging)	부스팅(Boosting)
학습 방식	병렬	순차
예시	Random Forest	XGBoost, AdaBoost
목적	분산 감소	편향 감소
예측 방식	다수결 / 평균	순 가중 평균차