앙상블 학습

앙상블 학습의 개념

앙상블학습
.복수 개의 간단한 학습기를 결합함으로써 결과적으로 더 좋은 성능을 내는 학습

학습기 결합에서의 고려사항

.학습 알고리즘의 차별화
.모델 선택과 관련된 파라미터의 차별화
.학습 데이터의 차별화

.병렬적 결합
.순차적 결합

학습 데이터 생성 방법에 따른 분류
.필터링에 의한 방법
.리샘플링에 의한 방법 ex)배깅
.가중치 조정에 의한 방법

배깅과 보팅

배깅
.부트스트랩 방법을 앙상블 학습에 적용한 것
.부트스트랩: 제한된 데이터 집합을 이용하여 시스템의 학습과 평가를 동시에 수행하기 위한 리샘플링 기법

보팅
.m개의 학습기 결과를 모두 동일한 정도로 반영하여 평균 결과를 얻는 방법

부스팅

부스팅
.간단한 학습기들이 상호보완적 역할을 할 수 있도록 단계적으로 학습을 수행하여 결합함

필터링에 의한 부스팅
.학습 데이터의 규모가 매우 커야 함

AdaBoost 알고리즘
.단순한 보팅법에 가중치를 적용한 결합 방법
.같은 데이터 집합을 반복해서 사용
.학습할 때마다 가중치를 조정하여 학습 변화를 꾀함

결합 방법

대표적인 결합 방법
.평균법
.보팅법

캐스케이딩
.여러 복잡도를 가진 학습기들의 순차적인 결합에 중점을 둔 방법

전문가 혼합
.복수 개의 학습기를 가중하여 최종 학습기를 만드는 결합 방법