[ML] 딥러닝의 깊이 있는 이해를 위한 머신러닝 6-1 (K-MOOC)

Linear Model Classification

Linear Regression과 같은 형태로 Classification을 풀 수는 없을까?

Binary classification

• 라벨을 -1과 +1로 구분합니다.

Linear classification은 어떻게 풀 수 있을까?

• Least Square 를 적용하는 것은 부적절합니다.

• $y_i$ 값이 -1 또는 +1을 가지기 때문에 예측값 $\vec{w}^T \vec{x}$의 값이 100과 같이 값만 가져도 objective function는 큰값을 가지게 됩니다. (예측값이 100이라면 결국은 +1로 분류할 수 있는데 수식적으로 봤을 때 에러가 크다고 나오는 것입니다.)

• 위의 문제를 해결하기위해 0-1 loss function을 활용합니다.

  • 0-1 loss function

    • 두개의 부호가 같은 경우 -> 0

    • 다른 경우 -> 1

• 일반적으로 L0-norm을 활용합니다.

  • $||\hat{y} - y||_0$

  • L0-norm에 입력되는 값이 0인 경우 0 출력

  • 0이 아닌 경우 1 출력

• 0-1 loss function을 통해서 w값을 얻을 수 없는 이유

  • 0-1 loss function은 거의 모든 경우에 미분값 0을 가집니다. 따라서 미분 활용이 어렵습니다. (least square 사용불가)

• 0-1 loss function과 유사한 함수 고안

  • $max(0, -y_i \vec{w}^T \vec{x_i})$

  • Degenerate solution 때문에 이 새로운 loss function 역시 활용할 수 없습니다.

    • Degenerate solution

      • objective function이 최소가 되는 w값을 찾는 것이 우리의 목적입니다.

      • max를 활용한 loss function을 활용하게되면 w값이 0을 가질 때 objective function이 최소가 됩니다. (아래 수식 참고)

      • $f(\vec{w}) = \sum_{i=1}^{n} max(0, -y_i \vec{w}^T \vec{x_i})$