ML
1.Gradient Boosting, Histogram-based Gradient Boosting
다중가산회귀트리(MART, Multiple Additive Regression Trees), 확률적 그라디언트 부스팅, 그라디언트 머신 등 다양한 이름으로 불린다. GRBT(Gradient Boosted Regression Tree), GBT(Gradient Boost
2.LightGBM 의 동작 방식 : GOSS, EFB
데이터의 크기를 줄인 뒤, AdaBoost의 방법을 차용하는 Gradient BoostingXGBoost는 약한 학습기로서의 Decision Tree를 만들 때, 모든 feature와 모든 sample(residual)에 대해서 계산한다. 학습에 오랜 시간이 필요하기
3.Loss : quantile loss, huber loss, squared loss, absolute loss
x값을 넣었을 때, y 값을 예측하는 모델을 만들기 위해서, 예측하는 여러 가지 선을 그릴 수 있다. 이 중에서 각 점이 예측선에 가깝게 일치할 때, 예측을 잘한다고 할 수 있다. 데이터를 정확하게 예측하는 식을 찾는 과정을 Linear Regression이라고 한다.
4.[으쌰복습, 올라잇팀] Ordinal Encoding
오디널 인코딩의 정의, 특징 공부
5.보팅(soft, hard voting), 경사하강법, XGBoost와 LightGBM 비교
앙상블에서 공부했던 내용과 천리길 스터디 내용을 토대로 보팅, 그라디언트 부스트 중 경사하강법, XG부스트와 LightGBM을 더욱 자세하게 공부해봤다.
6.[천리길스터디] 앙상블
Ensemble 유튜브(허민석) 앙상블-하드보팅, 소프트보팅 에서 가져온 사진. 앙상블의 이름을 잘 설명해주는 사진 같다. 유튜브(허민석) 앙상블-하드보팅, 소프트보팅 1. 목적 여러 분류기를 하나의 분류기로 연결하여, 개별 분류기보다 더 좋은 성능을 달성 일반화(
7.sklearn.model_selection : cross_validate, cross_val_predict, cross_val_score 공부
사이킷런 공식 문서의 sklearn.model_selection 부분에서 cross_validate, cross_val_predict, corss_val_score를 비교해보는 공부
8.Decision Tree
Decision Tree란?화이트박스 모델이다.예/아니오에 대한 질문을 던지면서 정답을 찾는다. 스무고개라고도 많이 한다.지도분류학습에서 가장 유용하게 사용되는 기법 중 하나이다.학습된 규칙에 따라 데이터를 분류(classification)하거나 회귀(regressio
9.분류 모델의 평가 지표(Confusion Matrix, Accuracy, Precision, Recall, Trade-off, 임계값 Threshold, ROC-Curve, AUC)
분류 모델의 평가 지표(Confusion Matrix, Accuracy, Precision, Recall, Trade-off, 임계값 Threshold, ROC-Curve, AUC)