SVM에는 Hard Margin 과 Soft Margin 방식이 있고, 후자를 더욱 압도적으로 많이 사용합니다. 하지만 이 정도의 간단한 개념만 알고 넘어가서는 모델을 이해했다고 할 수 없겠죠.
SVM의 하이퍼파라미터에 어떤 종류가 있는지, 각각이 어떤 역할을 하는지 서술하세요.
특히 파라미터 C는 답변에 '하드 마진 방식과 소프트 마진 방식의 차이점'을 엮어 설명하시면 더욱 좋습니다.
SVM(support vector machine)
결정 경계(decision boundary), 즉 linear모델과 비슷하게 선을 기준으로 분류, 회귀 하는 supervised(지도학습) 모델입니다.
(개인적으로 회귀보다는 분류에 활용되는게 더 좋은 성능을 나타냈습니다.)
SVM의 hyper parameter는 대표적으로 Margin과 Kernel, gamma가 대표적입니다.
SVM은 이름에서 알 수 있듯이 결정 경계와 가까이 있는 데이터 포인트들을 의미하며, Margin의 경우 이상치(outlier)들의 허용 강도를 의미합니다.
때문에 hard margin과 soft margin이 있으며, hard magin의 경우 이상치(outlier)를 허용하지 않는 결정 경계를 만들기 때문에 overfitting될 가능성이 커지고 soft margin은 이와 반대로 이상치(outlier)를 어느정도 허용하기 때문에 underfitting될 가능성이 커집니다.
그렇기 때문에 SVM 모델이 이상치(outlier)를 어느정도 허용할 것인지 파라미터 C를 통해 지정할 수 있습니다.
SVM의 kernel은 default값이 linear이지만 학습할 data set이 non-linear하게 되어 있는 2차원의 상태에서 분류가 필요할 경우에 사용되는걸 poly라 하며, 이름에서 알 수 있듯이 Polynomial(다항식)을 활용하여 2차원을 3차원으로 변형한뒤 분류할때 사용된다.
다항식(polynomial) 커널을 사용하면 데이터를 더 높은 차원으로 변형하여 초평면(hyperplane)의 결정 경계(decision boundary)를 사용할 수 있다.
gamma의 경우 결정 경계(decision boundary)를 어떻게 그을지를 정하는 hyper parameter이며, 값을 높이면 곡선의 형태로 그어지기 때문에 overfitting의 우려가 있으며, 반대로 값을 낮추면 직선에 가깝기 때문에 underfitting의 우려가 있습니다.
