Gradient Boosting Tree는 Boosting 방법 중 하나이며, Boosting이란, 약한 분류기를 결합하여 강한 분류기를 만드는 방법이다.
A, B, C 3개의 약한 분류기가 있을 때, A 분류기를 통해 나온 residual (잔차)을 줄여나가는 방향으로 B 분류기를 만들고, 또 B 분류기를 통해 나온 residual (잔차)을 줄여나가는 방향으로 C 분류기를 만든다.
하지만 이러한 특성으로 인해 training data에 overfitting 될 가능성이 높아지므로, sampling, penalizing 등의 regularization 기법을 사용하기도 한다.
또한 learning rate를 0.001 ~ 0.01 사이로 설정하는데, lr가 높을 수록 빠르게 모델의 bias를 줄일 수 있지만, lr가 너무 낮으면 디테일한 부분을 놓칠 수 있다.
