앙상블 기법

앙상블 기법

여러 개의 분류기를 생성하고, 그 예측을 결합함으로써 정확한 에측을 도출하는 기법이다. (여러 모델을 합하여 예측하는 방식)
Voting, Bagging, Boosting로 총 3가지 유형으로 나눌 수 있다.

Voting

hard : 그냥 개수 세기
soft : 확률 값을 기반으로 평균을 내어 확률 값이 가장 높은 것을 사용

Bagging

앙상블은 DecisionTree를 사용하는데 RandomForest가 대표적예다.
배깅은 샘플을 여러 번 뽑아(Bootstrap) 각 모델을 학습시켜 결과물을 집계(Aggregration)하는 방법이다. - 복원추출로 모델을 병렬처리 (여러번 모델을 뽑아 집계)

랜덤포레스트는 과적합을 해결.

Boosting

성능이 떨어졌던 모델에서 샘플의 일부만 조금씩 바꿔가며 모델의 성능을 증가시키는 방법이며 직렬방식이다.

성능은 Bagging보다 좋지만 과적합에 걸릴 확률이 있다.