[TIL Day32] Machine Learning 기초 - Linear Models for Classification

(작성중)

선형분류의 목표와 방법들

• 분류(classification)의 목표
  - 입력벡터 $\bold x$를 $K$개의 가능한 클래스 중에서 하나의 클래스로 할당하는 것

• 분류를 위한 결정이론

1. 확률적 모델(probabilistic model)
   • 생성모델(generative model): $p(\bold x|C_k)$ 와 $p(C_k)$를 모델링한 다음 베이즈 정리를 사용해서 클래스의 사후확률 $p(C_k|\bold x)$를 구한다. 또는 결합확률 $p(\bold x, C_k)$를 직접 모델링할 수도 있다.
   • 식별모델(discriminative model): $p(C_k|\bold x)$를 직접적으로 모델링한다.
2. 판별함수(discriminant function): 입력 $\bold x$를 클래스로 할당하는 판별함수를 찾는다. 확률값은 계산하지 않는다.

판별함수(Discriminant Functions)

입력 $\bold x$를 클래스로 할당하는 판별함수를 찾아보자. (그러한 함수 중 선형함수만을 다룰 것이다.)

두 개의 클래스

선형판별함수는 $y(\bold x) = \bold w^T \bold x + w_0$

• $\bold w$: 가중치 벡터
• $w_0$: bias

$y(\bold x) >= 0$인 경우 이를 $C_1$으로 판별하고 아닌 경우 $C_2$으로 판별한다.

• 결정 경계(decision boundary)
  - $y(\bold x)=0$을 만족시키는 $\bold x$의 집합
  - $D-1$차원의 hyperplane($\bold x$가 $D$차원의 입력벡터일 때)
  

• $w_0$은 결정 경계면의 위치를 결정

• $y(\bold x)$값은 $\bold x$와 결정 경계면 사이의 부호화된 거리와 비례

다수의 클래스

분류를 위한 최소제곱법

• 제곱합 에러 함수

• 분류를 위한 최소제곱법의 문제들

퍼셉트론 알고리즘(The Perceptron Algorithm)

• 활성 함수(activation function)

• 에러함수

• Stochastic Gradient Descent의 적용

확률적 생성 모델(Probabilistic Generative Models)

• 확률적 관점에서의 분류문제

• Logistic Sigmoid의 성질 및 역함수

• $K$ > 2인 경우
  

연속적 입력(Continuous inputs)

최대우도해

• 우도함수

• $\pi$ 구하기

• $\mu_1, \mu_2$ 구하기

• $\Sigma$ 구하기

입력이 이산값일 경우(Discrete features)

확률적 식별 모델(Probabilistic Discriminative Models)

로지스틱 회귀(Logistic Regression)

최대우도해

다중클래스 로지스틱 회귀