Deep Learning #02 Review: Logistic Regression

Classification

입력 데이터를 미리 정의된 범주로 나누는 것
(일반적으로 분류 문제는 지도학습 유형으로 다루어짐)

Linear Regression의 한계

범주를 구분하는 분류 문제에 취약
특이값이나 이상치에 크게 영향 받음

분류 데이터는 0,1로 표현되며, 데이터의 표현 범위는 $[0.0, 1.0]$
선형회귀의 표현 범위는 $[-∞, +∞]$

1. Logistic Regression

Sigmoid Function는 어떤 입력값이든 0과 1 사이의 값으로 변환
(두 개 클래스 중 하나에 속할 확률인 모델에 특히 유용)

$w,b$ 변화에 따른 Logistic Regression의 그래프

2. Cost function

기존에 사용하던 MSE Loss는 Linear Regression과 달리
Logistic Regression에 적용하면 non-convex 형태로 바뀜

이러한 경우 Local minima 문제에 빠질 수 있음

그래서 이것을 해결하기 위해 Negative Log Likelihood (NLL) 사용
NLL loss에 대해 이해하려면,

---

Likelihood

---

Bernoulli Distribution의 Likelihood

NLL 수식

3. Multinomial Classification

분류 문제에서 종속 변수 Y가 3개 이상의 클래스를 갖는 경우

Multinomial Classification을 이해하기 위해 필요한 요소

• Label 표현 방법 : One-Hot Encoding
• 분류 방법 : Softmax
• 학습 방법 (Cost function) : Cross Entropy Loss

---

One-Hot Encoding

문자나 클래스를 유일한 숫자 벡터로 표현하는 방법
(단어/클래스의 크기를 벡터 차원으로 하고, 해당하는 인덱스에 1 부여)

---

Softmax

여러 클래스 예측 값에 대해 상대적 중요도를 고려하여 확률로 변환하는 함수
(다중 클래스 분류 문제에서 사용하는 분류 방법)

사진 출처

---

Cross Entropy Loss

4. Logistic Regression Example