🚩딥러닝 기초 - part16. Softmax Regressin 과 원-핫 인코딩

Introduction

다중분류 문제를 해결하는 Softmax 함수에 대해서 알아보자.

특징의 유형

특징의 유형부터 살펴보도록 한다.

특징의 유형은 다음과 같이 3가지로 분류된다.

Logistic regression 복습

기존 로지스틱 회귀를 다시 살펴보자.
이는 이진 분류가 가능하도록 하는 모델이였다.

로지스틱 회귀는 시그모이드 함수의 수식을 사용하며, 이러한 시그모이드의 오차를 표현하기 위해서 비용함수는 BCE가 사용되었다.

이진 분류가 아닌 문제

학점이 A, B, C로 이루어지는 문제를 살펴보자.

음..공부시간이 30시간이고 결석일이 2라면 A를 받고 공부시간 40시간에 결석일이 0이라면 A를 받는 것이 보인다..
30시간 친구는 매우 똑똑해보이니 패스..본인의 상황에 빗대어 봤을 때, 현재 결석이 0이므로 40시간을 공부한다면 딥러닝에서 A를 맞을 수 있는 것인가..?

하나의 Linear한 이진분류를 수행하는 로지스틱 회귀로는 절대 제대로 된 분류를 할 수 없을 것을 보인다.

사족을 집어치우고 다시 문제로 돌아와보자.

sigmoid 함수는 3개를 분류하는 결과의 값이 각각 0~1의 값 사이로 나올 것이다.
A, B, C가 있을 때 A일 확률 0.8 / B 0.6 / C 0.4와 같이 말이다.

이를 softmax식으로 변경한다면 이들을 전부 더했을 때의 값이 1이 되도록 만드는 것이다. A 0.4 / B 0.33 / C 0.22 와 같이 말이다.

이후 한번의 작업을 더 수행한다. 이렇게해서 A라고 판별되는 것이 아니라, 판별을 위해서는 원핫인코딩을 해 줄 필요가 있다.

원-핫 인코딩

원핫인코딩이란 우리가 개, 늑대, 고양이, 호랑이를 분류한다고 생각해보자.
컴퓨터에게 다짜고짜 "개" 라는 한글 단어를 입력하고, A, B, C 숫자 값을 보고 이를 A일지 B일지 C일지 맞춰보라고 한다면 0과1의 세상속 컴퓨터는 이를 이해하지 못할 것이다.

따라서 컴퓨터가 이해할 수 있는 언어로, 즉 쉽게 처리할 수 있는 언어(숫자)로 데이터를 변경해주는 것이 필요하다.

이러한 과정을 바로 원핫인코딩이라고 한다.

개 = [1 0 0 0]
늑대 = [0 1 0 0]
고양이 = [0 0 1 0]
호랑이 = [0 0 0 1]
ex.) 데이터$x$가 A 0.4 / B 0.33 / C 0.12 / D 0.10 일때, 원핫 인코딩 수행결과는 [1 0 0 0]으로 최종적으로 개로 판명난다.

이러한 원핫 인코딩된 상태가 되야지만 정답을 맞췄는지, 못 맞췄는지를 판단하여 오차를 계산 할 수 있을 것이다.
(정답 데이터가 이미 원핫 되어있으므로 원핫 되지않은 Law한 데이터를 줘서는 판단을 못한다는 뜻)

원-핫 인코딩의 한계?

• 원핫 벡터로 표현되므로 원-핫 인코딩이라고 하게되는데, 분류해야하는 클래스의 개수가 많을수록 차원이 N개로 계속해서 늘어나게된다.100개 클래스라면..100차원...🎭
• 또한, 개와 늑대는 같은 개과 동물이고, 고양이와 호랑이는 같은 고양이과 동물이다. 하지만 원핫 인코딩을 하게되면 이러한 데이터에 연관성이 있음에도 불구하고 이를 데이터 상에서 반영하지 못한 결과가 된다.

Loss Function과 Cost Function

cost라고 적혀있지만, 하나의 값에 대해서 현재 오차를 구하는 것이므로 Loss Function에 가깝다.

로지스틱 회귀를 수행할때 BCE를 비용함수로 사용했다.
별반 다르지않다. 단순히 앞의 이진을 뜻하는 Binary가 빠졌을 뿐이다.
사실상 Binary Cross수식에서 2개 클래스 분류를 위한 i를 2번만 수행하면 Binary Cross Entropy의 수기과 동일하다는 것을 할 수 있다.

비용함수는 따라서 다음과 같이 구할 수 있다.

경사하강법 수행

이제 Gradinet Descent를 통해 오차를 최소화 시켜보도록 하자.

기존 logisth regression과 별반 다르지 않다. w에 대해서 편미분을 수행하고, 적절한 lr를 곱해서 값을 업데이트 시킨다.

만약 식을 외우는 것이 필요하다면 이 ppt의 식을 외우도록하자.