[머신러닝] 결정 트리(Decision Tree)

Python Machine Learning 책으로 공부했음을 밝힙니다.

결정 트리는 분류(classification)와 회귀(regression)가 가능한 지도 학습 모델이다.

스무고개처럼 예/아니오 질문을 하며 학습한다.

훈련 데이터에 있는 특성을 기반으로 샘플의 클래스 레이블을 추정할 수 있는 일련의 질문을 학습한다.

트리의 루트(root)에서 시작해서 정보 이득(imformation Gain, IG)이 최대가 되는 특성으로 데이터를 나눈다.

반복되는 과정을 통해 리프 노드(leaf node)가 순수해질 때까지 모든 지식 노드에서 이 분할 작업을 반복한다. 즉, 각 노드의 모든 훈련 샘플은 동일한 클래스에 속한다.
실제로 이렇게 하면 노드가 많은 깊은 트리가 만들어지고 과대적합될 가능성이 높다. 일반적으로 트리의 최대 깊이를 제한하여 트리를 가지치기(pruning)한다.