⑭ 🤖 Machine Learning 4일차 - 다중분류(Multinomial Classification)

다중 분류 (Multinomial Classification)와 Softmax

로지스틱 회귀 : 이진분류(Binary Classification)
합격/불합격 같은 두가지 분류만 처리 가능.
학점, 품종 같은 분류가 3개 이상인 경우 처리 방법

1. 다중 분류의 2가지 접근 방식

• 로지스틱 회귀를 이용해 다중 분류를 해결하는 방법은 크게 두 가지가 있다.

1) OvR (One-vs-Rest) : "나머지는 다 적이야!"

• 가장 직관적인 방법.
  클래스가 3개(A,B,C)라면 로지스틱 회귀를 3번 수행

1. A 분류기 : A냐? 아니냐(B,C)? -> A일 확률 도출
2. B 분류기 : B냐? 아니냐(A,C)? -> B일 확률 도출
3. C 분류기 : C냐? 아니냐(A,B)? -> C일 확률 도출
   $\rightarrow$ 이렇게 나온 3개의 확률 중 가장 높은 값을 가진 클래스를 선택
   (Scikit-learn의 LogisticRegression 기본값 중 하나)

2) 다항 로지스틱 (Multinomial Logistic) : "Softmax"

• 여러 개의 확률을 한 번에 계산하여 전체 합이 1이 되도록 만드는 방식.
  이때 사용하는 활성화 함수가 바로 소프트맥스(Softmax)이다.

2. 핵심 함수: Softmax (소프트맥스)

• 시그모이드(Sigmoid)가 이진 분류의 확률을 뱉어낸다면, 소프트맥스는 다중 분류의 확률 분포를 뱉어낸다.

공식
입력받은 값($z$)들을 지수 함수($e^z$)로 변환한 뒤, 전체 합으로 나눈다.
$Softmax(z_i) = \frac{e^{z_i}}{\sum_{j=1}^{K} e^{z_j}}$

Softmax의 3가지 특징

1. 0~1 사이의 값 : 결과값은 무조건 확률처럼 나옴
2. 총합은 1 : 모든 클래스의 확률을 더하면 정확히 1이 된다(시그모이드와의 가장 큰 차이점)
3. 큰 값은 더 크게 : 지수 함수($e^x$)를 사용하기 때문에 $z$값이 조금만 커져도 확률은 확 높이짐(확실한 구분)