decision tree

• 타깃 값이 한개인 리프노드를 순수 노드라고 한다
• 모든 노드가 순수 노드가 될 때 까지 학습하면 복잡해지고 과대적합이 된다
• 새로운 데이터 포인트가 들어오면 해당하는 노드를 찾아 분류라면 더 많은 클래스를 선택하고, 회귀라면 평균을 구한다.

Decision Tree(결정트리) 과대적합 제어

• 노드 생성을 미리 중단하는 사전 가지치기와 트리를 만든 후에 크기가 작은 노드를 삭제하는 사후 가지치기가있다
  (sklearn은 사전 가지치기만 지원)
• 트리의 최대 깊이나 리프 노드의 최대 개수를 제어
  (max_depth,max_leaf_nodes)
• 노드가 분할 하기 위한 데이터 포인트의 최소 개수를 지정