5장 정형 데이터 마이닝
4절 앙상블 분석
(1) 앙상블(Ensemble)
- 주어진 자료로부터 여러 개의 예측 모형들을 만든 후 예측 모형들을 조합하여 하나의 최종 예측 모형을 만드는 방법
: 다중모델 결합(combinning multiple models), 분류기 조합(classifier combination)- 배깅(bagging : boostrap aggregating) - Breiman(1996)에 의해 처음으로 앙상블 알고리즘 제안
- 부스팅(boosting) - Adaboost(adaptive boosting)
- 랜덤 포레스트(random forest : 무작위 추출 randomization)
- 스태킹(stacking : stacked generalization)
1) 학습 방법의 불안정성
- 학습자료의 작은 변화에 의해 예측 모형이 크게 변하는 경우, 그 학습 방법은 불안정함
- 가장 안정적인 방법 : 1-nearest neighbor
(가장 가까운 자료만 변하지 않으면 예측 모형이 변하지 않음), 선형회귀모형(최소제곱추정법으로 모형 결정) - 가장 불안정한 방법 : 의사결정나무
- <예시> 아동들의 척추교정 수술 후 척추측만 증상의 유무를 보이는 데이터를 통해 램덤 추출하여 의사결정나무 모형을 선정한 결과
(2) 배깅
배깅(bagging)
- 배깅(bagging : Boostrap Aggregating) : 주어진 자료에서 여러 개의 붓스트랩(boostrap)자료를 생성하고 각 붓스트랩 자료에 예측 모형을 만든 후 결합하여 최종 예측 모형을 만드는 방법
- 붓스트랩(boostrap) - 주어진 자료에서 동일한 크기의 표본을 랜덤 복원추출로 뽑은 자료
- 보팅(voting) - 여러 개의 모형으로부터 산출된 결과를 다수결에 의해서 최종 결과를 선정하는 과정
- 최적의 의사결정나무를 구축할 때 가장 어려운 부분이 가지치기(pruning)이지만 배깅에서는 가지치기를 하지 않고 최대로 성장한 의사결정나무들을 활용
- 훈련자료의 모집단의 분포를 모르기 때문에 실제 문제에서는 평균 예측 모형을 구할 수 없음
-> 배깅은 훈련자료를 모집단으로 생각하고 평균 예측 모형을 구한 것과 같아 분산을 줄이고 예측력을 향상시킬 수 있음 - 일반적으로 과대적합된 모형, 편의가 작고 분산이 큰 모형에 사용하는 것이 적합
(3) 부스팅
부스팅(boosting)
-
부스팅(boosting) : 예측력이 약한 모형(weak learner)들을 결합하여 강한 예측 모형을 만드는 방법
잘못 분류된 개체들에게 관심을 가지고 이를 더 잘 분류하는 것이 목적 -
부스팅의 학습 과정(필터링 방식)
-
부스팅의 적용(테스트)
-
부스팅의 단점 : 2번째 학습기와 3번째 학습기에 들어가는 학습 데이터는 기존 데이터의 일부만 적용되므로 학습데이터의 규모가 커야 한다.
-
Adaboost(Freund & Schapire가 제안)
- 이진분류 문제에서 랜덤분류기 보다 조금 더 좋은 분류기 n개에 각각 가중치를 설정하고 n개의 분류기를 결합하여 최종 분류기를 만드는 방법(단, 가중치의 합은 1)
-
훈련 오차를 빨리 그리고 쉽게 줄일 수 있음
-
배깅에 비해 많은 경우 예측오차가 향상되어 Adaboost이 성능이 배깅보다 뛰어난 경우 많음
-
성능 측면 : Adaboost > bagging > 단일 모형
(4) 랜덤포레스트
랜덤 포레스트(random forest)
- Breiman(2001)에 의해 개발된 랜덤 포레스트는 의사결정나무의 특징인 분산이 크다는 점을 고려하여 배깅과 부스팅보다 더 많은 무작위성을 주어 약한 학습기들을 생성한 후 이를 선형 결합하여 최종 학습기를 만드는 방법
- 이론적 설명이나 최종 결과에 대한 해석이 어렵다는 단점이 있지만 과대적합을 해소하고 예측력이 매우 높은 것으로 알려짐
특히 입력변수가 많은 경우, 배깅과 부스팅과 비슷하거나 좋은 예측력을 보임
