# LightGBM

13개의 포스트

Install LightGBM

그리고 CUDA 11.0 이상의 버전이 설치되어 있어야 한다고 함.Error Target "lightgbm_objs" of type OBJECT_LIBRARY may not be linked into cmake 버전이 안맞아서 그런다. 아래 링크에서 3.22버전으로

2022년 5월 16일
·
0개의 댓글
·

Model

특징 \- 이상치에 강한 모델임 \-tree를 분리하는 과정에서 feature selection이 자동으로 사용됨 \- 연속형과 범주형 변수를 모두 다루기 때문에 사전 데이터 준비가 많이 필요하지 않다 \- 결측값을 하나의 가지로 다룰 수 있기 때문에 이를 예측에

2022년 1월 14일
·
0개의 댓글
·
post-thumbnail

LightGBM feature importance

Kaggle, Dacon 또는 실제 모델링을 하다보면 feature를 여러개 추가해서 학습을 하게 된다. 이때, feature가 너무 많으면 오히려 학습에 방해되는데 필요없는 feature들은 제거하는 것이 좋다. 이때 어떤 feature를 살리고 버려야 할까?

2021년 7월 18일
·
1개의 댓글
·
post-thumbnail

LightGBM parameter tuning-(2) (with optuna)

LightGBM 하이퍼파라미터를 튜닝하기는 사실 어렵다. 워낙 LGBM이 파라미터 튜닝에 민감하기도 하고, 신경쓸게 너무 많다. 인턴을 하면서 알게된건 3가지 방법 순서대로 파라미터 튜닝을 했다.어쩔 수 없다. 학습이 빠르고 정확한 결과를 얻기 위해서 lightgbm을

2021년 7월 18일
·
0개의 댓글
·
post-thumbnail

LightGBM parameter tuning-(1)

하이퍼파라미터 종류와 뜻 docs 링크하이퍼파라미터 튜닝 docs 링크LightGBM은 leaf-wise로 트리를 탐색하므로 데이터가 적을 경우 오버피팅이 일어날 수 있다. 이를 방지하기 위해 하이퍼파라미터에 꽤나 민감하다.학습속도, 정확도, 오버피팅은 서로 trade

2021년 7월 18일
·
0개의 댓글
·
post-thumbnail

[Kaggle] 분자 특성 예측(Predicting Molecular Properties)

Intro최근 kaggle에서 굉장히 눈에 띄는 competition이 있었으니 바로, Predicting Molecular Properties라는 이름의 대회였다. 해당 competition은 브리스톨 대학교, 카디프 대학교, 임페리얼 칼리지 및 리즈 대학교로 이루어

2021년 7월 18일
·
0개의 댓글
·

Boosting

Boosting / Feature importances

2021년 4월 21일
·
0개의 댓글
·
post-thumbnail

LightGBM(LGBM)

내가 바로 써먹기 위한 LGBM 속성, 야매 글입니다.자세한 설명은 생략한다LGBM은 Light GBM이다. Light하다는 것은 속도가 빠르고, 적은 메모리를 이용한다고 생각하면 된다. 당연히 GPU 가속기를 이용할 수 있다.GBM은 Gradient Boosting

2021년 4월 11일
·
0개의 댓글
·

Kaggle: Santander Customer Satisfaction 산탄데르 고객 만족 예측

캐글의 산탄데르 고객 만족 데이터 세트에 대해 고객 만족 여부를 XGBoost 와 LightGBM 으로 예측해보자.

2021년 1월 4일
·
0개의 댓글
·

LightGBM 소스코드로 설치하기 (Linux, RTX30)

RTX30을 쓸 때는 Tensorflow, Pytorch 등 cuda를 쓰는 다른 프레임워크들도 잘 작동 안했듯이 LightGBM도 설치할 때 오류가 발생하는 것처럼 보여서 그냥 소스코드에서 직접 빌드해서 쓰기로 했다.그리고 CUDA 11.0 이상의 버전이 설치되어 있

2020년 12월 23일
·
0개의 댓글
·
post-thumbnail

[ML] XGBoost, LightGBM, Stacking

저번 글에서는 대표적인 앙상블 알고리즘인 Random Forest와 Gradient Boosting에 대해 정리했었다. 이번 글에서는 기존의 Gradient Boosting을 뛰어넘는 새로운 알고리즘인 XGBoost, LightGBM (XGBoost보다 훨씬 빠른 수행

2020년 9월 19일
·
2개의 댓글
·

Ensemble (Bagging vs Boosting) - 한 눈에 알아보기

Ensemble method는 예측 성능의 향상을 위해 사용된다..Ensemble의 기본적인 원칙은 기본 모델(some model)을 설정하고 그것의 linear combination을 하는 것이다.d차원 input을 이용해 실수값을 예측하는 문제를 가정하자.$$g:

2020년 5월 26일
·
0개의 댓글
·