서포트 벡터 머신(SVM), 결정 트리

SVM

SVM이란? 두 클래스 간의 최대 마진을 가지는 결정 경계를 찾는 지도 학습 알고리즘.

• 강력한 선형 모델이지만 커널 트릭을 사용하여 비선형문제까지 확장 가능(커널 svm)

마진이란? 결정경계에 가장 가까운 데이터 점(서포트 벡터)과의 거리

결정 경계란? 두 클래스를 구분짓는 경계

최대 마진이 왜 필요한걸까?

마진이 클수록 일반화 오차가 낮아지는 경향이 있기 때문

*출처: 머신 러닝 교과서 with 파이썬, 사이킷런, 텐서플로

결정 트리

결정 트리란?
일련의 질문에 대한 결정을 통해 데이터를 분해하는 모델.
즉, 조건에 따라 가지처럼 나뉘는 구조를 가진 알고리즘으로, 각 분기점에서 질문을 통해 데이터를 점점 세분화하여 결과를 도출

*출처: 머신 러닝 교과서 with 파이썬, 사이킷런, 텐서플로

랜덤 포레스트란?
랜덤 포레스트(Random Forest)는 여러 개의 결정 트리를 학습시키고, 각 트리의 예측을 종합하여 최종 결과를 도출하는 앙상블 학습 기법

앙상블 학습 기법이란?
여러 개의 모델을 결합한 것.

용어정리

[슬랙 변수]
SVM이 모든 점을 딱 맞게 분류하지 못하더라도 약간의 오차를 허용하며 최대한 최적의 경계를 찾도록 돕는 역할.
즉, 선형적으로 완벽히 분리되지 않는 데이터셋에서 SVM이 유연성을 가지도록 도입한 변수로, 데이터 점이 결정 경계를 넘어도 허용할 수 있게 하는 역할

[커널 SVM]
커널 SVM은 복잡한 데이터들을 고차원 공간으로 변환하여 분리할 수 있도록 하는 것.