서포트 벡터 머신 (SVM)
- 두 클래스로부터 최대한 멀리 떨어져 있는 결정 경계를 찾는 분류기
- 특정 조건을 만족하는 동시에 클래스를 분류
- 결정 경계를 통해 어느 쪽에 속하는지 판단
- 선형이나 비선형 분류, 회귀, 이상치 탐색에도 사용할 수 있는 강력한 성능
- 복잡한 분류에 잘 들어맞으며 데이터셋이 작거나 중간 크기에 적합
단계 1 : 경계 인접 부분에 위치한 두 서포트 벡터들을 지나는 평생 직선을 그리는 것
두 집단 (빨간색 / 파란색)의 데이터 중 영역의 경계 부분에 위치한 데이터들의 사이가 최대로 떨어져있으며 두 집단이 잘 분류되었다고 간주
단계 2 : 평행으로 그은 두 직선에 직교(직각)하는 선(마진)을 그음. 마진은 두 집단 사이의 거리라고 볼 수 있는데, 이 거리가 최대로 멀수록 두 집단이 잘 분류가 잘됨
단계 3 : 두 서포트 벡터들의 중앙을 지나면서 직교(직각)하는 직선을 구함. 이 직선은 두 집단을 분류하는 최적의 직선이며, 초평면 또는 결정 경계라고 함
데이터가 깔끔하게 처리되어있지 않고 혼재되어 있는 경우 마진 값을 설정하여 결정 경계를 조절
하드 마진과 소프트 마진으로 구분
- 하드 마진 : outlier를 허용하지 않음. 과접합 발생이 쉬움.
- 소프트 마진 : outlier를 허용
분류 문제에 서포트 벡터 머신을 사용할 경우 각 집단의 경계에 인접해 있는 데이터들의 거리가 가장 멀어지게 폭(마진)을 설정하여 마진의 가운데를 결정 경계로 설정
두 집단 사이의 거리(마진)가 클수록 좋기 때문에 소프트 마진을 사용
회귀 문제로 서포트 벡터 머신을 사용하는 경우에는 데이터들을 아우를 수 있게 마진을 잡고 그 중앙에 회귀선을 그어주는 방식으로 작동
마진이 좁을수록 데이터들을 대표할 수 있는 회귀선을 잘 만들 수 있기 때문에 하드 마진을 사용
colab 실습
https://colab.research.google.com/drive/1C4awdDTQZU9cGzbz2WdiVXFNeuCWtPlO?usp=sharing
지지 않기