XGBoost

Gradient Boosting의 강화 버전
결정 트리를 약한 학습기로 사용하며, 여러 개의 약한 모델을 순차적으로 조합해 강력한 예측 모델을 만듦
기존 Gradient Boosting보다 정확도, 속도, 자원 효율성 면에서 크게 향상됨

🧠 핵심 아이디어

"이전 모델의 오류를 다음 모델이 보완" 하는 방식으로 학습

• 학습 과정:

1. 첫 번째 트리가 원래 데이터를 학습
2. 두 번째 트리는 첫 번째 트리의 예측 오류(잔차, residual)를 학습
3. 이런 식으로 트리들을 반복적으로 쌓고, 결과를 합산하여 최종 예측

🔁 순차 구조 vs ⚙️ 병렬 처리

1. 🔁 순차 구조 (부스팅의 핵심 원리)
   XGBoost는 Gradient Boosting 계열이기 때문에
   ➤ 트리들은 순차적으로(직렬) 학습해야 함
   트리1 → 트리2 → 트리3 → ...

2. ⚙️ 병렬 최적화 (XGBoost만의 강점)
   하나의 트리를 만들 때는 다음과 같은 병렬 연산이 가능:
   
   👉 병렬 Split 탐색
   - 각 노드에서 "어떤 피처로 분할할까?" 를 모든 피처에 대해 동시에 계산
   - 예시: 피처 1, 2, 3, 4 → 각 피처별 split 후보 계산 → 병렬 수행

🚀 XGBoost가 GBM보다 뛰어난 이유

항목	XGBoost의 개선점
학습 속도	트리 내부 병렬 연산 도입으로 속도 향상
일반화 능력	정규화(term: lambda, alpha)와 학습 종료 조건을 도입해 과적합 감소
수학적 개선	손실 함수에 대해 2차 미분(헤시안)까지 활용
결측치 처리	자동으로 결측값 처리 경로를 선택함
조기 종료	일정 에폭 동안 성능 개선 없으면 학습 자동 종료(Early Stopping)
하이퍼파라미터 가이드	수동 조정 요소들에 대한 가이드 존재

✨ 주요 하이퍼파라미터

파라미터	설명
n_estimators	트리 개수 (기본적으로 많을수록 성능 증가, 과적합 주의)
max_depth	트리 최대 깊이
learning_rate	각 트리의 기여 정도 (작을수록 학습 속도 느리지만 일반화 잘 됨)
subsample	각 트리마다 사용할 샘플 비율 (과적합 방지용)
colsample_bytree	각 트리마다 사용할 피처 비율
lambda, alpha	정규화 관련 (L2, L1)

💻 기타 특징

• 회귀(Regression), 분류(Classification) 모두 가능

• GPU 학습 지원
  ➤ 수천 개 트리, 수백만 개 샘플에서도 빠른 학습 가능

• 대용량 데이터셋에서도 병렬 최적화 + 메모리 효율이 뛰어남