결정트리(Decision Tree)

Stop._.bmin·2023년 3월 12일

핸즈온 머신러닝

목록 보기

3/3

🤔 결정트리란?

분류와 회귀 문제에 널리 사용하는 모델
다중출력도 작업 가능
결정에 다다르기 위해 예/아니오 질문을 이어 나가면서 학습

Hands On Machine Learning 실습

6.1 결정 트리 학습과 시각화

어떻게 예측을 하는지 살펴보는 것을 목적으로 한다.
붓꽃 데이터셋에 DecisionTreeCrlassifier을 훈련시키는 코드다.

from sklearn.datasets import load_iris
from sklearn.tree import DecisionTreeClassifier

iris = load_iris()
X = iris.data[:, 2:]  # 꽃잎의 길이와 너비
y = iris.target

tree_clf = DecisionTreeClassifier(max_depth = 2)
tree_clf.fit(X,y)

import os
from sklearn.tree import export_graphviz

export_graphviz(
    tree_clf, 
    out_file = os.path.join("iris_tree.dot"),  # image-path -> os.path.join
    feature_names = iris.feature_names[2:], 
    class_names = iris.target_names, 
    rounded = True,
    filled  = True
)

from graphviz import Source
Source.from_file(os.path.join("iris_tree.dot"))
# sample 속성: 얼마나 많은 훈련 샘플이 적용되었는지 헤아린 것이다.
# 리프 노드의 gini 속성: 불순도를 측정한다. (깊이 1인 왼쪽 노드는 Iris-setosa훈련 샘플만 가지고 있으므로 순수 노드이고 gini점수가 0이다. 깊이 2의 왼쪽 노드는 1-(0/54)**2 - (49/50**2 - (..)))

6.2 예측하기

트리가 어떻게 예측을 만들어내는가?
- 루트 노드 : 깊이가 0인 맨 꼭대기의 노드
- 리프 노드 : 자식 노드를 가지지 않는 노드
불순도를 측정하는 방법 ➡️ 지니 불순도
깊이가 1이면 2개로 나뉘어지고, 깊이가 2이면 2분할, 3으로 하면 깊이 2의 두 노드가 각각 결정 경계를 추가로 만들게 된다.

6.3 클래스 확률 추정

한 샘플이 특정 클래스 k에 속할 확률을 추정할 수 있다.

tree_clf.predict_proba([[5,1.5]]) # [길이, 너비]
>>> array([[0.        , 0.90740741, 0.09259259]])

tree_clf.predict([[5,1.5]])
>>> array([1])

6.4 CART 훈련 알고리즘

사이킷런은 결정 트리를 훈련시키기 위해 CART 알고리즘을 사용한다.
- classification and regression tree Algorithm
k:하나의 특성, t_k: 특성 k의 임계값

CART 알고리즘이 훈련세트를 성공적으로 둘로 나누었다면 같은 방식으로 서브셋을 또 나누고 또 나누고... 반복
그래서 언제 끝나느냐?: 최대 깊이가 되거나 불순도를 줄이는 분할을 찾을 수 없을 때

6.5 계산 복잡도

루트 노드 ➡️ 리프 노드
약 O(log_2(m))
- 각 노드는 하나의 특성값만 확인하기 때문에 특성의 수와 무관하게 O(log_2(m))이다.

6.8 회귀

import numpy as np

np.random.seed(42)

m = 200
X = np.random.rand(m, 1)
y = 4 * (X - 0.5) ** 2
y = y + np.random.randn(m, 1) / 10

from sklearn.tree import DecisionTreeRegressor

tree_reg = DecisionTreeRegressor(max_depth = 2, random_state = 42)
tree_reg.fit(X, y)

export_graphviz(
    tree_reg,
    out_file = os.path.join("regression_tree.dot"),
    feature_names = ["x1"], 
    rounded = True,
    filled  = True
)

Source.from_file(os.path.join("regression_tree.dot"))

텐서플로우 참고하여 추가 학습

결정트리 만들기

직선이 의미하는 x[1]<=0.0596의 테스트에서 분기가 일어난다.
이 테스트를 통과하면 포인트는 왼쪽 노드에 할당되는데 이 노드에는 클래스 0에 속한 포인트는 2개, 클래스 1에 속한 포인트는 32개다.
그렇지 않으면 포인트는 오른쪽 노드에 할당되며 이 노드에는 클래스 0의 포인트 48개, 클래스 1의 포인트 18개가 포함되었다.
이 두 노드는 그림의 윗부분과 아랫부분에 해당합니다. 첫 번째 분류가 두 클래스를 완벽하게 분류하지 못해서 아래 영역에는 아직 클래스 0에 속한 포인트가 들어 있고 위 영역에는 클래스 1에 속한 포인트가 포함되어 있다.

각 테스트는 하나의 축을 따라 데이터를 둘로 나누는 것으로 생각할 수 있다.
각 테스트는 하나의 특성에 대해서만 이루어지므로 나누어진 영역은 항상 축에 평행하다.
데이터를 분할하는 것은 각 분할된 영역이 (결정 트리의 리프) 한 개의 타깃값(하나의 클래스나 하나의 회귀 분석 결과)을 가질 때까지 반복된다.

타깃 하나로만 이뤄진 리프 노드를 순수 노드pure node라고 한다.

Q. 여기서 예측을 어떻게 하는가?

새로운 데이터 포인트에 대한 예측은 주어진 데이터 포인트가 특성을 분할한 영역들 중 어디에 놓이는지를 확인하면 된다.
그래서 그 영역의 타깃값 중 다수(순수 노드라면 하나)인 것을 예측 결과로 한다. 루트 노드에서 시작해 테스트의 결과에 따라 왼쪽 또는 오른쪽으로 트리를 탐색해나가는 식으로 영역을 찾을 수 있다.

같은 방법으로 회귀 문제에도 트리를 사용할 수 있다. 예측을 하려면 각 노드의 테스트 결과에 따라 트리를 탐색해나가고 새로운 데이터 포인트에 해당되는 리프 노드를 찾는다. 찾은 리프 노드의 훈련 데이터 평균 값이 이 데이터 포인트의 출력이 된다.

일반적으로 트리 만들기를 모든 리프 노드가 순수 노드가 될 때까지 진행하면 모델이 매우 복잡해지고 훈련 데이터에 과대적합된다. ➡️ 즉, 정확도가 100이 된다.➡️ 즉 훈련 세트의 모든 데이터 포인트는 정확한 클래스의 리프 노드에 있습니다.

위의 그림에서 오른쪽 그래프를 보면 과대적합된 것으로 볼 수 있다.

결정 경계가 클래스의 포인트들에서 멀리 떨어진 이상치 outlier 하나에 너무 민감하다.