앙상블 기법이란 여러개의 분류 모델을 생성하고 그 예측값을 결합하여 더욱 정확한 결과를 도출해내는 기법을 말한다.
이는 하나의 강력한 모델을 생성하는것이 아닌 보다 약한 모델 여러개를 조합하여 더 정확한 예측을 하는데 도움을 주는 방식이다.
앙상블 기법은 일반적으로 보팅(voting), 배깅(bagging), 부스팅(boosting)으로 나눌 수 있다.
보팅(Voting)
보팅이란 말 그대로 서로 다른 알고리즘을 갖는 분류 모델들이 투표를 통해 최종 예측 결과를 도출해내는 방법이다.
보팅은 최종 결과 선정 방식에 따라서 하드 보팅(hard voting)과 소프트 보팅(soft votoing)으로 나눌 수 있다.
소프트 보팅(soft voting)
분류 모델들의 확률을 더한 뒤 평균을 내서 확률이 가장 높은 값을 최종 결과로 채택한다.
하드 보팅(hard voting)
다수결의 원칙을 따르는 방식으로 분류 모델들의 결과 중 가장 많이 나온 값을 최종 결과로 채택한다.
배깅(bagging)
배깅은 같은 알고리즘으로 여러 개의 분류기를 만들어서 보팅으로 최종 결정하는 알고리즘이다.
배깅의 대표적인 알고리즘으로는 랜덤 포레스트가 있다.
부스팅(boosting)
강승구