Machine Learning Lecture 4.

Classification

• 출력변수 y가 소수의 값을 가지는 Classification.
• ~인지 아닌지. Whether과 같은 뉘앙스.
• 이상 감지, 장바구니 효과, 분류 task

Binary Classification

• negative class(음성) → 0
• positive class(양성) → 1

Threshold

• 한계점

Logistic regression

• 기존 Dataset에서 몇 개의 값이 추가되는데 기존 값과 새로운 값의 차이가 있을 경우 misclassified(틀리게 분류) problem이 생긴다.
  
• 회귀 Algorithm을 분류 task에 적용하는 뉘앙스.
• 출력값이 0과 1 사이의 값.
  
  

Decision Boundary

• Sigmoid Function 값에서 Threshold(임계점)을 기준으로 양성 또는 음성 값 분류.(확률값, 보통은 0.5로 임계점 설정.)
• 결정 경계가 선형(Linear) 형태인 경우.
  • 대각선 형태로 경계를 가름.
• 결정 경계가 비선형(Non-linear) 형태인 경우
  • 산출된 방정식의 형태로 경계를 가름.(원이나 Ellipse(타원) 형태)

Cost Function for Logistic Regression

• Introduction
  
• Squared Error cost
  - case 1. Linear regression
  - Convex function(볼록/오목)
  - 경사하강법 시전 시 반드시 Global Minimum 구할 수 있음.
  - case 2. Logistic regression
  - non-convex function(비선형 함수)
  
  
  

Simplified for Logistic Regression

• Cost과 Loss function 값 부호에 주의할 것 !
• 선형 회귀의 과정과 유사하나 F(w,b(xi)) 정의는 different.

Gradient Descent for Logistic Regression