부스팅은 어떤 특징을 가진 앙상블 기법인가요? 토픽에서 배운 AdaBoost 이외의 부스팅 모델에는 무엇이 있는지에 대해 구글 등을 활용하여 직접 리서치해보고, 각 부스팅 모델의 특징, 장단점에 대해 말해주세요.

1. 부스팅(Boosting)

• 여러 개의 약한 학습기(Week Learner)를 순차적으로 학습시켜 성능을 향상시키는 앙상블 기법
• 결정 트리를 예로 들면:
  1. 첫 번째 트리 학습
  2. 틀린 데이터를 더 중요하게 반영
  3. 두 번째 트리 학습
  4. 다시 틀린 부분 보완
  5. 반복

     이전 모델이 틀린 부분을 다음 모델이 보완하면서 점점 성능을 높이는 방식

특징

장점

• 높은 예측 성능
• 비선형 관계 학습 가능
• 특성 중요도 제공
• Kaggle, 실무에서 매우 강력

단점

• 학습 시간이 길 수 있음
• 과적합 가능성 존재
• 하이퍼파라미터 튜닝 필요

AdaBoost(Ada = Adaptive)

• 가장 초기의 대표적인 부스팅 알고리즘

동작 방식

• 오분류된 데이터에 더 큰 가중치를 부여
• ex:
  • 1차 모델
    • A: 맞춤
    • B: 틀림
      -> B의 가중치 증가
      -> 2차 모델이 B를 더 집중 학습

장점

• 구현이 단순
• 이해하기 쉬움
• 작은 데이터셋에 효과적

단점

• 이상치(Outlier)에 민감
• 대용량 데이터에 비효율적

3. Gradient Boosting Machine(GBM)

• AdaBoost를 발전시킨 모델
• 오분류 여부가 아니라

  이전 모델의 오차(Residual)를 줄이는 방향

핵심 아이디어

현재 예측값과 실제값 차이를 계산
-> 그 오차를 예측하는 새로운 트리 생성
-> 반복

장점

• AdaBoost 보다 높은 성능
• 다양한 손실 함수 사용 가능
• 회귀·분류 모두 가능

단점

• 학습 속도 느림
• 과적합 가능
• 튜닝 필요

4. XGBoost(eXtreme Gradient Boosting)

• 현재도 가장 유명한 부스팅 모델 중 하나
• 과거 Kaggle 우승 모델의 상당수가 XGBoost 기반이었음

특징

• GBM을 개선하여:
  • 정규화(Regularization)
  • 병렬 처리
  • 결측치 자동 처리
    기능 추가

장점

• 높은 성능(실무에서 매우 강력)
• 과적합 감소(L1/L2 정규화 지원)
• 결측치 처리(Missing Value 자동 처리)
• Feature Importance 제공

단점

• 파라미터 많음(튜닝 복잡)
• 학습 시간(LightGBM 보다 느림)
• 메모리 사용량 큼

5. LightGBM

특징

• 기존 GBM이 트리를 수평적으로 성장시키는 반면
• LightGBM은:

  Leaf-wise 방식

장점

• 매우 빠름(XGBoost 보다 빠른 경우 많음)
• 대용량 데이터 강함(수백만 건 데이터 처리 가능)
• 메모리 효율(좋음)
• 높은 성능(Kaggle에서도 자주 사용)

단점

• 과적합 위험(데이터가 적으면 발생 가능)
• 튜닝 민감(파라미터 영향 큼)

🎯 모델 비교

☝️Tip!
데이터 분석 및 머신러닝 실무에서는:
1. LightGBM
2. XGBoost
3. CatBoost 순으로 많이 사용되는 편이다

• 범주형 변수 많음 -> CatBoost
• 일반적인 예측 문제 -> LightGBM 또는 XBGoost 를 선택하면 좋은 결과를 얻는 경우가 많음

부스팅은 이전 모델의 오류를 다음 모델이 순차적으로 보완하는 앙상블 기법이다.
AdaBoost 이후에는 GBM, XGBoost, LightGBM, CatBoost 등이 등장했으며, 현재 실무에서는 성능과 학습 속도 측면에서 LightGBM과 XGBoost가 널리 사용되고 있다.
CatBoost는 범주형 변수 처리에 강정을 가지고 있다.

😎