부스트 모델

재학습한다고 생각하면 된다.

아다부스트

n번의 횟수를 돌리는데 0번모델에서 놓친 샘플에 가중치를 크게해서 1번에 학습하는 모델이다.

이런 식으로 n번을 돌린다.

그래디언트 부스팅

아다부스트가 샘플에 가중치를 두었다면 해당 모델은 예측의 차이인 '오류'에 대해서 학습을 진행한다.

오류가 y2라면
x를 y2에 fit하고 예측하고 y3(오류)를 만들어가면서 오류에 대한 학습이다.

스태킹

결과에 예측을 위한 모델을 추가하고 추가하여 더 좋은 학습을 한다.