결정트리와 랜덤 포레스트

결정트리

결정트리
.주어진 문제에 관해 결정을 내리는 함수를 트리 형태로 구성

속성 선택을 위한 평가기준
.지니 불순도: 각 노드에 할당된 클래스 레이블이 얼마나 다른지 그 혼합 정도를 측정
.지니 평가지수: 속성 a를 갖는 부모 노드 R에서 자식 노드들의 지니 불순도의 가중합

결정트리의 문제
.과다적합

해결책
.조기종료
.가지치기
.랜덤 포레스트

랜덤 포레스트

랜덤 포레스트
.결정 트리와 앙상블 학습기법을 결합한 방법
.배깅(리샘플링)하여 m개의 결정 트리를 학습하고 결합