Lecture6.Logistic Regression

Classification and Representation

Classification

• classification : 분류, 주어진 data들을 0(negative) 또는 1(positive) class로 분류한다. = binary classification. 3개 이상의 클래스로 분류하는 것을 multiclass classification이라고 한다.

Logistic Regression

• Logistic Regression : linear regression를 분류 모델에 이용하는 것. linear regression과 다른 것은 target value들이 범주형 데이터이며 결과가 특정 분류로 나뉜다.
  
  logstic regression에서는 위와같이 선형 모델, hyphothesis를 만들고 해당 선의 값으로 매핑하는 것이 아니라 선을 기준으로 결과값이 더 크면 1으로 분류, 더 작으면 0으로 분류하는 방식을 사용한다. (logistic regression에서는 0<=hθ(x)<=1 , 기준이 되는 threshold값은 그 사이의 지정값.)

• Sigmoid Function, Logistic Function
  0<=hθ(x)<=1으로 만들기 위해서,
  
  위와같이 g(z)라는 함수를 사용, linear regression의 hθ(x)를 감싸준다. ( = θ'x )
  => 새로운 가설함수, 모델은 g(θ'x)이된다.
  
  g의 특성상 어떤 값이 오더라도 e^(-z)는 0 또는 무한대로, 최종 값은 0 또는 1이된다. z가 양의 방향으로 커질수록 최종 값은 1에 가까워지고, 음의 방향으로 커질수록 최종 값은 0에 가까워진다.
  
  logistic regression에서 결과값은 주어진 data(x,input)에 대해 positive일 확률을 의미하게된다.( P(y=1|x;θ)으로 표현한다. )
  또한 P(y=0|x;θ) + P(=1|x;θ) = 1이라는 성질을 갖는다.(θ에 의해 parameterized된 주어진 X에대해 y=1일 확률과 y=0일확률의 합은 1)
  => 1-P(y=0|x;θ)= P(y=1|x;θ)이다.

Decision boundary

logistic regression은 그려지는선, boundary에 따라 class가 분류된다.