Hyperopt의 Space 정리

1. max_depth
   트리의 최대 깊이. GBM과 같다.
   깊이가 높을수록 모델이 특정 샘플에 매우 특정한 관계를 학습할 수 있으므로 과적합을 제어하는 데 사용된다.

2. reg_alpha
   L1 정규화 기간. L1 정규화는 희소성을 장려함.(가중치를 0으로 당기는 것을 의미한다)
   기능 선택에 도움이 필요할 수 있으므로 목표가 로지스틱 회귀일 때 더 유용할 수 있다.

3. reg_lambda
   L2 정규화 기간. L2는 더 작은 가중치를 권장하며, 이 접근 방식은 기능을 0으로 만드는 것이 별로 의미가 없을 수 있는 트리 모델에서 더 유용할 수 있다.

4. learning_rate
   eta: GBM의 학습률과 유사 각 단계에서 가중치를 축소하여 모델을 더욱 견고하게 만든다. 사용되는 일반적인 최종 값: 0.01-0.2

5. colsample_bytree
   GBM의 max_features와 유사하다. 각 트리에 대해 무작위로 샘플링되는 열의 비율을 나타냅니다. 일반적인 값: 0.5-1

6. gamma
   결과 분할이 손실 함수에서 양의 감소를 제공하는 경우에만 노드가 분할된다. 감마는 분할에 필요한 최소 손실 감소를 지정한다. 알고리즘을 보수적으로 만든다. 값은 손실 함수에 따라 달라질 수 있으며 조정해야 한다.많을수록 정확도가 높아지지만 과적합이 발생할 수 있다.

7. num_leaves
   사용할 리프 노드의 수. 많은 수의 리프가 있으면 정확도가 향상되지만 과적합도 발생한다.

8. min_child_samples
   리프 노드당 최소 샘플을 지정한다.
   리프로 그룹화할 샘플(데이터)의 최소 수.
   매개변수는 과적합에 크게 도움이 될 수 있다.
   리프당 샘플 크기가 클수록 과적합이 줄어들지만 과소적합이 발생할 수 있다.

9. subsample
   각 하위 트리를 작성할 때 고려할 행(관찰)의 일부를 나타낸다. 기능의 일부를 무작위로 선택함

10. feature_fraction
    훈련에 사용되는 기능의 서브샘플링을 제어한다.(배깅의 경우, 실제 훈련 데이터를 서브샘플링하는 것과 반대). 더 작은 분수는 과적합을 줄인다.

11. bagging_fraction
    랜덤하게 bag하거나 트레이닝 데이터를 서브샘플링함.

훈련 데이터의 배깅(서브샘플링)을 활성화한다. 배깅을 사용하려면 두 값을 모두 설정해야 한다.
빈도는 (반복) 배깅이 사용되는 빈도를 제어한다. 더 작은 분수와 빈도는 과적합을 줄인다.

출처: https://www.kaggle.com/kabure/extensive-eda-and-modeling-xgb-hyperopt#Defining-the-HyperOpt-function-with-parameters-space-and-model