[머신러닝] SVM(Support Vector Machine)

SVM 알고리즘

분류수행, 회귀수행
비선형적이고 고차원 공간에서도 탁월한 성능을 보임

☞ 단점: 알고리즘 자체가 수학적인 이론이라서 좀 어려운 모델
☞ 장점: 현실세계의 모델에서 복잡한 문제를 푸는 능력이 좋은 모델

Support Vertor Machine은 Margin을 최대로 하는 서포트 벡터를 찾는 것

Support Vector은 멀티 클래스도 가능함

비선형적인 문제를 선형으로 바꾸는데 매핑함수 필요

매핑 함수를 사용하면?
데이터 = 선형적인 형태로 변형
축 = 매우 복잡한 형태로 변형
축을 설명하기 더 곤란해지는 상황 발생

커널 함수를 알면 초평면을 정의할 수 있음
특스한 경우에 한해 카파함수를 구하는 방법들이 연구되어 돌아옴
데이터의 형태에 따라 카파 함수를 골라서 Support Vector Machine모델을 만들 수 있음

카파(커널)함수의 종류

• 선형 커널
• 다항 커널
• 가우시간 커널
• 가우시안 RBF 커널
• 라플라스 RBF 커널
  데이터의 형태에 따라 커널을 잘 선택하면 훌륭한 모델을 만들 수 있음

비선형 SVM
: 테크닉을 통하여 비선형과 고차원의 데이터에서 비선형 결정 경계(Non-liner Decision Boundaries)를 갖는 모형을 만드는 것

결정트리
: 엔트로피에 의해서 데이터를 선형으로 나눔

• 비선형으로 나누는 것이 힘듦
• 데이터가 비선형인 경우에는 잘 맞지 않음