1. 다중 분류🔥

2개 이상의 클래스로 분류하는 것을 다중 분류라고 한다.

Random Forest classifiers와 Bayes classifiers = multinomial classifiers의 경우, 다중 분류가 가능하다.

하지만 Support Vector Machine classifiers와 Linear classifiers는 이진 분류에만 한정된다.

하지만 여러 개의 이진 분류기를 통해 다중 분류하는 것도 가능하다.

1) OvA 전략

One-versus-all
OvR 방식 (One-versus-Rest)이라고도 불린다.

OvA 전략은 각 클래스마다 하나의 이진 분류기를 훈련시킨 후, 분류할 때 모든 분류기의 결정 점수를 비교하여 가장 높은 점수를 가진 분류기의 클래스를 선택하는 방식이다.

예를 들어 0부터 9까지의 숫자를 다중 분류하고자 할 때는 10개의 이진 분류기를 이용하면 된다. (0 검출기, 1 검출기...) 이미지 분류 시엔 해당 이미지에 대한 결정 점수를 받아 가장 높은 점수를 출력하는 분류기의 클래스를 선택한다.

2) OvO 전략

One-versus-one

OvO 전략은 모든 클래스 쌍마다 이진 분류기를 훈련시켜, 최종 분류 시 각 분류기 결과를 비교하여 가장 많이 득표한 클래스를 선택하는 방식이다.

N개의 클래스가 있다면 $\frac{N \times (N-1)}{2}$개의 분류기를 훈련시키게 된다. 예를 들어 0부터 9까지의 숫자를 분류하고자 할 땐 45개의 분류기가 만들어진다. 이미지 분류 시엔 해당 이미지를 이 45개의 분류기에 모두 통과시켜서 가장 많이 득표한 클래스를 선택한다.

3) OvA OvO 선택 전략

일부 알고리즘(SVM 분류기)은 훈련 세트의 크기에 따라 성능이 저하된다. 그래서 이러한 알고리즘의 경우 작은 훈련 세트에서 많은 분류기를 훈련시키는 OvO가 선호된다.

그러나 대부분의 이진 분류 알고리즘의 경우 OvA가 선호된다.

Scikit-Learn의 자동 전략 선택

Scikit-Learn은 사용자가 이진 분류 알고리즘을 다중 클래스 분류에 사용하려고 할 때 이를 감지하여 자동으로 OvA 전략을 적용한다. 다만, SVM 분류기인 경우에는 OvO 전략을 사용한다.

장점

유연성: 기본적으로 모든 이진 분류기를 사용할 수 있으므로, 다양한 분류 알고리즘을 쉽게 확장할 가능하다. (그렇게 나온게 위의 함수다)

단순함: 다중 클래스 문제를 이진 분류 문제로 변환하므로, 구현이 상대적으로 단순하다!

단점

효율성 문제: 클래스가 많아지면 그만큼 이진 분류기도 많아지기에 비용 측면에서 효과적이지 않을 수 있다.

불균형 데이터: 특정 클래스가 다른 클래스보다 훨씬 적은 경우, 해당 클래스와 나머지 클래스를 비교할 때 불균형 문제가 발생할 수 있다.