[ML] 7주차-1 : Large Margin Classification

Machine Learning by professor Andrew Ng in Coursera

1) Optimization Objective

"Support Vector Machine"
'supervisory algorithm'
logistic regression, neural network와 비교했을때 cleaner & powerful way of learning complex non-linear function을 제공한다.

Alternative view of logistic regression

---

logistic regression의 hypothesis function을 다시 살펴보면

이때
$\text{If } y=1, \text{we want } h_\theta(x)\approx1, \theta^Tx \gg0$
$\text{If } y=0, \text{we want } h_\theta(x)\approx0, \theta^Tx \ll0$
즉, y=1일 때 $\theta^Tx \gg0$가 되는, y=0일 때 $\theta^Tx \ll0$가 되는 $\theta$를 찾으려 했다.

logistic regression은 log함수를 이용해서 cost function을 정의했다. SVM은 이와 비슷한 위의 그림에서 파란색 그래프들을 cost function으로 한다.

logistic regression의 cost function을 조금 수정하면 SVM의 cost function이 된다.

• $\log(h_\theta)$~ 대신 $cost_~(\theta^Tx^{(i)})$
• $\lambda$ 대신 $C$
• $\frac{1}{m}$ 제거

SVM hypothesis

---

'logistic regression과 달리 svm은 확률값은 제공하지 않는다.'
'SVM의 수학적 정의에 대해 알아봤다.'

2) Large Margin Intuition

이때 $\theta^Tx \geq0$ 또는 $\theta^Tx \leq0$라 해도 되는데 굳이 1과 -1이라고 했다.
바로 이 부분이 svm이 margin을 크게 갖도록 하는 역할을 한다.

SVM Decision Boundary

---

만약 C가 매우 큰 값이라면 즉, C=100,000

위의 식에서 파란색의 값이 0이 되는 부분이 바로 decision boundary가 된다.

SVM Decision Boundary : Linearly separable case

---

이때 연두색, 분홍색, 검은색 직선 중 검은색 직선 즉, svm의 decision boundary가 가장 잘 분리한다.
또한 다른 것들에 비해 margin이 가장 크다.
=> SVM을 large margin classifier라 부르기도 한다.
'이전에 한 optimization objective의 결과'

Large margin classifier in presence of outliers

---

위의 그림에서 파란색 직선보다는 검은색 직선을 결정 경계로 하는 것이 prediction에 유리하다. 너무 크지 않은 $C$를 선택하는 것이 중요하다.

3) Mathematics Behind Large Margin Classification

'optional 비디오였는데 그냥 들었다'
'Optimization objective가 어떻게 svm을 large margin classifier가 되도록 하는지에 대한 intuition...'

Vector Ineer Product

---

'내적에 대한 설명'