머신러닝

이 게시글은 수학적 접근이 아닌 각 학습법의 개념과 동작 원리정도만 간단히 다루고 있습니다. 앙상블 학습법 앙상블 학습은 "하나의 강력한 알고리즘보다는 조금 약할지라도 여러 개의 알고리즘을 결합하여 사용하면 더 뛰어나다"라는 이론으로 동작한다. 다음은 사용하는 분류

의사결정트리 루트 노드, 분기, 내부 노드 및 리프 노드로 구성된 트리 구조 들어오는 분기없이 루트 노드로 부터 시작. 데이터를 잘 나누는 질문일수록 상위 노드에 존재한다. 일반적으로 CART(Classification and Regression Tree) 알고리즘을

AdaBoost Adaptive Boosting의 줄임말로 약한 학습기들을 앙상블 학습법을 통해 훈련시켜 강한 학습기를 생성하는 방법이다. 이 때 데이터마다 가중치가 부여된다. (약한 학습기라 하면 랜덤 추측보다는 조금 더 나은 예측을 하는 모델을 말한다.) adab

GBM = Gradient Descent(경사하강법) + BoostingAdaBoost에서는 이전 모델의 단점을 다음 모델에서는 데이터마다 가중치를 부여하여 즉 더 잘 샘플링될 수 있게 하여 예측률을 높였다.GBM에서는 오류를 경사하강법을 이용하여 해결해 나간다. (잔

XGBoost 어떻게 하면 GBM을 더 빠르게 처리하고, 더 큰 데이터 셋에 효율적으로 적용시킬 수 있을까? 라는 생각에서 시작함. 모든 가 능한 경우를 다 찾기 때문에 최적해를 항상 발견할 수 있다. 그러나 실행