앙상블(Ensemble)

앙상블이란?

여러개의 약한 분류기를 생성하고 분류기로부터 나온 예측들을 결합해서 최종 예측을 도출하는 방법
정형데이터 분류에서 뛰어난 성능을 보인다

1. 보팅(Voting)

투표를 통해 최종 예측 결과 결정
다른 알고리즘(모델) 을 사용한다

2. 배깅(Bagging)

투표를 통해 최종 예측 결과 결정
같은 알고리즘(모델) 을 사용한다
eg) 랜덤 포레스트
데이터를 부트스트래핑 방식으로 샘플링해 분할 추출
데이터셋간의 중첩 허용

부트스트래핑(Bootstrapping)

데이터 샘플에서 반복적으로 재표본을 추출하는 방식

하드보팅

다수결로 결과 채택

소프트 보팅

평균을 내어 결과 채택

3. 부스팅(Boosting)

약한 학습기를 순차적으로 학습-예측하면서 잘못된 예측에 가중치를 부여하며 오류를 개선해나가는 학습 방법
다음 분류기에 가중치를 부여한단다
eg)Gradient Boost,XG Boost,LightGBM