TIL_54 : Random Forest_2 : Boosting

🙄 Boosting

---

➡ Boosting

• "~전보다 더 크거나 높게 하다"
• 일부러 성능이 안 좋은 모델들을 사용한다
• 더 먼저 만든 모델들의 성능이, 뒤에 있는 모델이 사용할 데이터 셋을 바꾼다
• 모델들의 예측을 종합할 때, 성능이 좋은 모델의 예측을 더 반영한다

핵심 : 성능이 안 좋은 약한 학습자 (weak learner) 들을 합쳐서 성능을 극대화

🙄 Adaboost

---

➡ 에다 부스트 개요

스텀프

• root node 하나와 분류 노드 두개를 갖는 얕은 결정 트리를 만듦
• 위와 같은 트리를 나무의 그루터기를 의미하는 스텀프 (stump) 라고 함
• 평균적으로 50%보다 조금 좋은 성능을 낸다

데이터 셋

• 데이터 셋은 임의로 만들지 않는다

• 서로 분류가 다른 데이터들을 결정 스텀프 하나가 학습
• 결정 스텀프가 맞게 분류한 데이터, 틀리게 분류한 데이터 존재
• 다음 스텀프의 데이터 셋을 만들 때는 앞 스텀프가 틀린 데이터의 중요도를 높이고
  맞은 애들의 중요도는 낮춤
• 이걸 미리 정해놓은 만큼 무수히 반복

➡ 스텀프 성능 계산하기

데이터 셋

• 데이터 셋에 중요도라는 열을 추가
• 중요도의 합은 항상 1
• 처음에는 틀리게 예측한 데이터가 없으니 모든 데이터의 중요도는 $\frac{1}{m}$

첫 스텀프 만들기

• 각 질문들의 지니 불순도를 계산해서 가장 낮은, 성능이 가장 좋은 질문으로 만듦

스텀프 성능 계산하기

• $\frac{1}{2}\log\frac{1-total\_error}{total\_error}$

• $total\_error$ : 잘못 분류한 데이터들의 중요도의 합

➡ 데이터 중요도 바꾸기

• 틀리게 예측한 데이터 중요도
  $weight_{new}=weight_{old}*e^{p_{tree}}$

• 맞게 예측한 데이터 중요도
  $weight_{new}=weight_{old}*e^{-p_{tree}}$

• $p_{tree}$ = 트리의 성능

• 중요도의 합이 1이 되게 하기 위해서 각 중요도 마다
  $\frac{중요도}{모든 중요도의 합}$를 해준다

➡ 스텀프 추가하기

새롭게 데이터 셋 만들기

• 기존에 데이터 셋의 크기랑 똑같은 데이터 셋에
  각 데이터의 중요도를 데이터 셋에 들어갈 확률로 써서 만듦
• 중요도가 높은 데이터들은 여러 번 들어가고 낮은 데이터들을 아예 추가가 안됨

• 이 데이터 셋을 써서, 첫 스텀프를 만들 때랑 똑같이 새 데이터 셋으로 스텀프 만듦
• 지니 불순도를 비교해서 가장 성능을 좋게 하는 기준을 정함
• 스텀프의 성능을 계산하고 원래 데이터 셋에서 분류에 틀린 데이터들의 중요도를 높이고
  맞은 데이터의 중요도를 낮춘다

🙄 scikit-learn으로 Adaboost

---