앙상블 모델이란?

하나의 분류기로 예측하는 것이 아닌 여러 개의 분류기를 종합하여 최종 예측을 하는 기법.

앙상블이란 "화합"이라는 의미를 지니고 있다.

대표 알고리즘

• Random Forest
• Gradient Boosting

유형

• Voting
• Bagging
• Boosting

Voting

투표로 최종 예측 결과 결정

bagging과 다른 점은 서로 다른 알고리즘을 가진 분류기를 결합한다는 것

Hard Voting

• 다수결

Soft Voting

• 확률

Bagging

Voting과 마찬가지로 투표 방법을 이용

대신, 같은 알고리즘의 분류기를 사용하며 데이터 샘플링만 다르게 가져감

ex) Random Forest - Decision Tree Classifier 여러개를 사용하는 앙상블 모델

• 복원 추출을 사용하므로 데이터 중첩이 발생

ex) 10000개의 데이터를 10개의 분류기로 나누더라도 1000개 데이터는 중복될 수 있음.

Boosting

• 예측 성공 분류기에 가중치 ⬇️

• 예측 실패 분류기에 가중치 ⬆️

ex) Gradient Boost, XGBoost, LightBGM