멋쟁이 사자처럼 AI 스쿨 TIL-36

배깅은 훈련세트에서 중복을 허용해서 샘플링하여 여러개 모델을 훈련 하는 앙상블 방식입니다. 같은 훈련 샘플을 여러 개의 모델에 걸쳐 사용해서 모든 모델이 훈련을 마치면 앙상블은 모든 예측기의 예측을 모아서 새로운 샘플에 대한 예측을 만들게 됩니다.

부스팅은 약한 모델을 여러개 연결해서 강한 모델을 만들어 내기 위한 앙상블 방식입니다. 부스팅의 아이디어는 앞의 모델들을 보완해 나가면서 일련의 모델들을 학습시켜 나가는 것입니다.

이 Gradient 의 개념은 딥러닝에서도 사용할 예정입니다.
Gradient(경사, 기울기) 는 어떻게 사용할까요?
=> 손실함수 그래프에서 값이 가장 낮은 지점으로 경사를 타고 하강합니다. 머신러닝에서 예측값과 정답값간의 차이가 손실함수인데 이 크기를 최소화시키는 파라미터를 찾기 위해 사용합니다.

epoch == n_estimators 와 같은 개념입니다. 부스팅 트리에서 n_estimators 는 몇 번째 트리인지를 의미합니다.
epoch 학습 횟수
learning_rate 는 학습률을 의미하는데 보폭이라고 번역하기도 합니다. 보폭이 너무 크면 대충 찾기 때문에 최소점을 지나칠 수도 있습니다. 그래서 아래 그래프처럼 발산을 하기도 합니다. 

Residual 은 무엇일까요?

=> Residual, 오차, 잔차 비슷한 의미입니다. 오차와 잔차도 다른 의미로 보기도 합니다. 여기에서는 잔차에 더 가깝다.

learning_rate, 학습률, 보폭 보통 같은 의미로 쓰입니다.
성능에 고려 없이 GBM 에서 훈련시간을 줄이려면 어떻게 하면 좋을까요? => 보폭을 크게 하면 훨씬 빨리 걷게 되죠. 그렇기 때문에 learning_rate 를 올리면 학습시간은 줄어들지만 제대로 된 loss(손실)가 0이 되는 지점을 제대로 찾지 못할 수도 있습니다.