잘 정리된 블로그: https://blog.naver.com/chunsa0127/222190970229

Margin은 왜 2/ ||W|| ??

여기서 주의 해야할 점은 y절편과 말하고 있는 하나의 값(벡터)가 다르다는 것.
|w||x|cos($theta$) = 0임을 이용했고
b:W = 2: 1이란 소리가 된다
그래서 margin = 1은 w = 1이란 말과 다르다.

Kernel function의 이해

XOR 데이터에서
X1*X2라는 새로운 차원을 추가할 수 있음. 그렇게 되면 XOR 문제에서도 구분 가능.

SVM의 Hyper Parameters

From: https://scikit-learn.org/stable/modules/svm.html

C는 내가 알고있던 추가항. 규제 파라미터로 작을수록 Underfitting 크면 Overfitting.(예외치 무시)
gamma는 결정 경계의 곡류조정, 작을수록 단순하고 크면 Overfitting

가우시안 RBF(Radial Basis Function)

가우시안 RBF 커널 함수는 아래와 같다.

이 함수는 벡터 l이라는 랜드마크와 벡터 x가 얼마나 가까운지에 따라 0에서 1사이의 값을 보이는데, 가장 가까울 때 1, 멀 때 0의 값을 가진다. 가우시안 RBF는 non-linear한 분류기를 만들때 사용하기 좋은데 그 이유는 다음과 같다.

m차원의 벡터공간에 n개의 점이 있다고 하자. 1개의 점을 l로 잡고, 모든 점 x들에 대해 가우시안 RBF 커널 함수를 적용하면 l로부터 모든 점과의 거리 n개를 피쳐로하는 벡터를 만들 수 있다. 즉 m차원->n차원으로 벡터 변환이 가능한 것이다. 이 매핑을 n개의 모든 점에 대해서 진행한다. 그러면, 이 함수의 특성상 기존에 가까웠던 점들은 새로운 스페이스에서도 마찮가지로 가까울 것이다. 그리고 m<n이라고 가정하면, 이 과정에서 차원 또한 늘어날 것이다. 즉, 위 과정을 거치면 차원이 늘어나되 기존에 가까웠던 점들은 마찮가지로 가까워서 separation이 좀더 쉬워진다.
[출처] 커널 트릭 / 커널 / 가우시안 RBF|작성자 taso