머신러닝 모델_XGBoost_LightGBM

두 모델에 대해 알기 전에 먼저 GBM이란?

GBM(Gradient Boost Machine), 앙상블 머신러닝 기법 중의 하나로 부스팅 기법을 사용한다. 경사 하강법(Gradient Descent)를 이용해 가중치를 업데이트 해 label값과 가까워질 때까지 여러 모델을 학습하는 방식이다.

출처:https://heeya-stupidbutstudying.tistory.com/entry/ML-GBM-%EC%95%8C%EA%B3%A0%EB%A6%AC%EC%A6%98-%EB%B0%8F-LightGBM-%EC%86%8C%EA%B0%9C-%EA%B8%B0%EB%B3%B8%EA%B5%AC%EC%A1%B0-parameters

---

XGBoost

:eXtra Gradient Boost의 준말로 GBM 기반의 알고리즘이다. 하지만 기존 GBM과 다르게 병렬 처리를 지원한다. 그렇기에 GBM보다 훨씬 빠른 처리 속도를 가진다.

---

LightGBM

:이도 GBM 기반의 알고리즘으로 기존 GBM과 달리 leaf-wise로 트리 분할을 한다. 손실이 큰 트리는 계속적으로 분할해나가 깊이를 늘리는 것이다. 하지만 트리를 균형적으로 만드는 기존의 방식은 추가적인 연산이 필요하기 때문에 lightGBM이 처리 속도가 더 빠르다.

---