데이터 과학 - 5(Softmax Regression)

Softmax Regression

---

다중 분류 문제(Multinomial Classification)

• 기존은 0또는 1 a또는 b로 이진분류 였음(ex : 사진이 강아지 or 고양이인지 판단)
• 다중 분류 문제 : 종속 변수 y가 두 가지 이상의 값을 가지는 경우의 회귀분석
  • 동물사진 분류(고양이, 강아지, 토끼 등 여러개로 분류해야 할경우)
  • 자율주행(2가지 이상의 신호등 신호 분류)
  • 글자인식

---

• 
• 위의 경우처럼 a,b,c 0,1,2로 1차원으로 분류할 경우 데이터의 분산이나 1차원 직선으로 표현하기 어렵기 때문에 다른 방법을 사용하는것이 좋다
  • one hot encoding
  • 
  • [x,y,z]의 형식으로 표현

---

• 분류할 class(y)의 개수만큼 이진 분류를 각각 수행

  • 각각의 색깔(class)별로 이진 분류를 수행, 수행할때 다른 class요소는 고려하지 않고 각각 수행 후 합치는 방식
    • 
  • test값에 대해 각각 이진 분류를 수행
    • 
  • 출력값을 각 class에 대한 확률로 해석, 가장 높은 값을 가지는 class를 선택
    • 
  • 이진분류(로지스틱 함수)의 합을 1로 만들기위해 정규화
    • 
  • 위의 이진분류와 정규화를 한번에 해주는것이 Softmax함수임
    • 

---

• 위의 다중분류 과정의 단순화
  • 각각의 이진분류의 과정 x에 w1,w2,w3를 곱하는 과정에서 여러개의 w를 하나의 행렬로 표현 가능하고 이것을 x에 곱해도 똑같다
    • 
    • 
  • softmax함수 적용도 간단하게 표현
    • 

---

Cost(Cross Entropy)

• 다중 분류의 비용 함수

  • 실제 출력값 중 결과가 1인 값과 같은 위치에 있는 예측값만 사용함
    • 
  • 사용하는 예측값이 h라고 하면 cost값은 -log(h)
    • 
    • 

• w와b의 업데이트는 동일

  • 

---

Softmax Regression 요약

•