다항 논리 회귀

Multinomial logistic regression

다항 논리 회귀(Multinomial logistic regression)와 One-hot encoding

입력값을 가지고 출력값을 3개 이상 클래스를 도출하는 것을 Multinomial logistic regression하고 한다.

Multinomial logistic regression 문제를 풀 때, One-hot encoding가 필요하다.

One-hot encoding이란 아래처럼 출력값의 형태를 컴퓨터 친화적으로 나오게 하는 것으로, 여러 개 항목을 1과 0로만 표현하는 방법이다.

위와같이 클래스의 개수만큼 0으로 채우고, 각 클래스의 index 위치를 정하고 해당하는 index에 1를 채워주는 것이다.

Softmax 함수와 손실함수

다항 논리는 시그모이드 함수를 사용하여 0과 1로만 표현할 수 없었다. 그래서 고안한 방법이 Softmax 함수이다. 후에 똑같이 확률 분포의 차이를 최소화하기 위해 계산할 때는 Crossentropy 함수를 쓴다. 항이 여러 개가 되었을 뿐 이진 논리 회귀와 차이는 없다.