[ML] 7주차-3 : SVMs in Practice

Machine Learning by professor Andrew Ng in Coursera

1) Using An SVM

liblinear, libsvm과 같은 SVM이 이미 잘 구현된 것들이 많기 때문에 직접 코딩하지말고 라이브러리를 활용해라.
하지만 이때 라이브러리를 쓰더라도 아래의 것들은 직접 설정해 줘야 한다.

• parameter C
• kernel (similarity function)

Note:

• Gaussian kernel 사용하기 전에 feature scaling 해주기
• 모든 similarity functions similarity(x, l)을 kernel로 사용할 수 있는 것은 아니다.
  "Mercer Theorem"이라는 조건을 만족해야 SVM package의 optimization과정이 발산하지 않고 제대로 동작한다.

Q : kernel을 고를 때 기준
choose whatever performs best on the cross-validation data

Multi-class classification

---

'총 k개의 svm을 돌려서 k개의 $\theta$를 얻고~'

Logistic regression vs. SVMs

---

'logistic regression의 cost function을 수정해서 SVM이 나온 거였다.'