📝 Support Vector Machine (SVM)

• 선형이나 비선형 분류, 회귀, 이상치 탐색에 사용할 수 있는 머신러닝 방법론

• 딥러닝 이전 시대까지 널리 사용됨

• 복잡한 분류 문제 잘 해결, 상대적으로 작거나 중간 크기를 가진 데이터에 적합

• 최적화 모형으로 모델링 후 최적의 분류 경계 탐색

• 두 클래스 사이에 가장 넓이가 큰 분류 경계선을 찾는다. (Large margin classification)

• margin: 가상적인 분류 경계선 (오른쪽 그림의 점선)

• support vector: 각각의 클래스에서 분류 경계선을 지지하는 관측치
  

• 스케일에 민감하기 때문에 변수들 간의 스케일을 잘 맞춰주는 것이 중요
  (Sklearn의 StandardScaler 사용)

✏️ Margin

Hard Margin

두 클래스가 하나의 선으로 완벽하게 나눠지는 경우에만 적용 가능

Soft Margin

일부 샘플들이 분류 경계선의 분류 결과에 반하는 경우를 일정 수준 허용하는 방법
=> C 패널티 파라미터로 조정 (svm의 하이퍼파라미터)

Hard margin 최적화

• margin이 최대화가 될 때 성능이 좋다.
• 목적식과 제약식
  

계산식

• 점에서 평면까지의 거리
  

• 평면 위의 점에서 다른 평면까지의 거리
  

soft margin 최적화

✏️ SVM Prediction

• 관측치를 식에 대입했을 때
  = 0 : 관측치가 분류 경계선 위에 있다.
  > 0 : 관측치가 파란색으로 분류된다.
  \< 0 : 관측치가 초록색으로 분류된다.