CoT (Chain of Thoughts), ToT (Tree of Thoughts) 개념을 공부하다 "앙상블 기법"이라는 단어를 마주했다.
앙상블..? 앙상블 생각하면 아래와 같은 이미지가 떠오름. 
먼가 다같이 연주해서 완성시키는 무대 뭐 이런거 ~?~?
갑자기 생긴 궁금증을 해결하기 위해 서치를 해보았다.
앙상블 기법(Ensemble Learning)은 여러 개의 개별 모델(약한 학습기 또는 기본 모델)의 예측을 결합하여 성능을 향상시키는 머신러닝 기법입니다. 개별 모델보다 일반화 성능이 우수하고, 과적합(overfitting) 가능성을 줄이며, 강건한(robust) 예측을 수행할 수 있도록 도와줍니다. - gpt선생 -
앙상블 기법은 배깅(Bagging), 부스팅(Boosting), 스태킹(Stacking)으로 나뉜다.
1️⃣ 배깅 (Bagging, Bootstrap Aggregating)
같은 알고리즘을 여러 번 학습시켜 평균화하는 방식이다. 데이터를 여러 개로 랜덤 샘플링(부트스트랩 샘플링)하여 각 모델을 학습하며, 개별 모델의 예측을 평균(회귀) 또는 다수결(분류) 방식으로 결합한다.
- 대표적인 알고리즘: 랜덤 포레스트(Random Forest)
- 특징
✅ 과적합 방지
✅ 분산(Variance) 감소
✅ 독립적인 모델을 학습하므로 병렬 처리가 가능
2️⃣ 부스팅 (Boosting)
이전 모델이 학습한 오류를 보완하는 방식이다. 순차적으로 모델을 학습하며, 이전 모델이 틀린 데이터에 가중치(weight) 를 부여하여 학습을 강화한다.
- 대표적인 알고리즘: AdaBoost, Gradient Boosting, XGBoost, LightGBM, CatBoost
- 특징
✅ 높은 정확도
✅ 학습 속도가 느릴 수 있음 (순차 학습)
✅ 과적합 위험 존재 (적절한 규제가 필요)
Google : 니가 찾는 stacking이 이거?
아니요.
3️⃣ 스태킹(Stacking)
서로 다른 유형의 여러 개의 모델을 학습한 후, 메타 모델(Meta Model) 을 추가하여 최종 결합한다. 개별 모델들의 예측을 새로운 데이터로 사용하여 최적의 조합을 찾는다.
- 특징
✅ 다양한 모델을 조합하여 강력한 성능
✅ 하이퍼파라미터 튜닝이 어렵고 계산량이 많음
- 대표적인 예제
- 개별 모델: 랜덤 포레스트, XGBoost, SVM 등 ..
- 메타 모델: 로지스틱 회귀
오늘은 개념까지만 학습해두고, 이어서 모델 개발할 때 앙상블 기법을 적용시켜본 뒤 예제 코드와 함께 찾아오겠다 !!!!
