Logistic Function (=Sigmoid Function)

입력값을 0과 1 사이의 확률로 변환한다.

Logistic Regression

Feature 변환

Logistic Regression에서 Logistic Function의 입력인 $z$는 feature $\mathbf{x}$의 가중합이다.

주어진 데이터를 선형 변환만으로 완벽하게 목적하는 공간으로 매핑하는 것은 어렵기 때문에, 일반적으로 bias를 식에 추가해 사용한다.

분류

Logistic Function을 통해 Feature Vector $\mathbf{x}$의 클래스를 판별한다.

Logistic Function의 출력이 0과 1 사이의 값을 가지기 때문에 $\hat{y}$를 $P\left(y=1|\mathbf{x}\right)$로 생각할 수 있다.

학습

Logistic Regression에서 학습은 Feature를 잘 변환해줄 수 있는 가중치 $\mathbf{w}$를 찾는 것이다. 좋은 가중치일수록 음성 클래스의 입력은 0에, 양성 클래스의 입력은 1에 가깝게 예측한다.

Multinomial Logistic Regression (Softmax Regression)

클래스가 3개 이상일 때 사용하는 Logistic Regression의 확장형이다.
Binary Classification에서 Logistic Function을 사용하는 것과 달리, Softmax Function을 사용한다.
$K$개의 클래스가 존재할 때 Feature Vector $\mathbf{x}$에 대해 클래스 $k$일 확률은 아래와 같다.