XGBoost - eXtreme Gradient Boosting

A Scalable Tree Boosting System

• Optimized Gradient Boosting algorithm
• Missing Values
• Regularization to avoid overfitting/bias

XGBoost?

• XGBoost = eXtreme Gradient Boosting의 약자 (극한 변화에 대해서도 부스팅)
• Boosting 기법을 이용하여 구현한 알고리즘은 GBM이 대표적
• XGBoost는 Computing적으로 병렬 학습이 지원되도록 구현
• Regression, Classification 문제를 모두 지원하며, 성능과 자원 효율에 장점이 있음

XGBoost 장점

• GBM 대비 빠른 수행시간
• 병렬처리로 학습, 분류속도가 빠름
• 과적합을 방지하는 Penalty Term이 존재
• 지도학습에서 뛰어난 학습 능력을 보임
• Missing Values(결측치)를 내부적으로 처리해줌

An optimized Version of GBM

• XGBoost는 GBM모델을 최적화시켜 많은 양의 Data를 빠르게 처리가능
• Cache Awareness and Out of Core computing : 하드웨어 적인 부분
• 근사값을 찾아 나가는 방법이기 때문에 약간의 정확도 손실이 존재함.
  
  

Extract Greedy Algorithm for Split Finding

• 일반적으로 Tree Split Point를 찾을 때 사용하는 방법 (순도, Information Gain이 높은 Point)

• 장점: 항상 Optimal split point를 보장한다 (가능한 모든 Split point를 찾기 때문)

• 단점: Data가 커지면 커질수록 가능한 모든 Split point를 찾기 어려움 (불가능함, Memory Issue), 분산 환경에서 처리가 불가능함