[ML] 앙상블 모델

이정연·2023년 4월 4일
0

Play Data

목록 보기
22/26

앙상블 모델이란?

하나의 분류기로 예측하는 것이 아닌 여러 개의 분류기를 종합하여 최종 예측을 하는 기법.

앙상블이란 "화합"이라는 의미를 지니고 있다.

대표 알고리즘

  • Random Forest
  • Gradient Boosting

유형

  • Voting
  • Bagging
  • Boosting

Voting

투표로 최종 예측 결과 결정

bagging과 다른 점은 서로 다른 알고리즘을 가진 분류기를 결합한다는 것

Hard Voting

  • 다수결

Soft Voting

  • 확률

Bagging

Voting과 마찬가지로 투표 방법을 이용

대신, 같은 알고리즘의 분류기를 사용하며 데이터 샘플링만 다르게 가져감

ex) Random Forest - Decision Tree Classifier 여러개를 사용하는 앙상블 모델

  • 복원 추출을 사용하므로 데이터 중첩이 발생

ex) 10000개의 데이터를 10개의 분류기로 나누더라도 1000개 데이터는 중복될 수 있음.

Boosting

  • 예측 성공 분류기에 가중치 ⬇️

  • 예측 실패 분류기에 가중치 ⬆️

ex) Gradient Boost, XGBoost, LightBGM

profile
0x68656C6C6F21

0개의 댓글