Logistic Regression(로지스틱 회귀)
logistic regression은 다중 선형 회귀와 비슷하다.
데이터의 가중치()를 곱하고 편향(bias)을 더하는 과정을 진행한다. 허나 선형 회귀와 다른 점은 그 안에 시그모이드 함수를 사용하고 오즈와 로짓변환을 거친다는 것이다.
이 외에도 선형회귀는 연속된 값을 예측하지만 로지스틱 회귀는 이진 분류 문제나 다중 분류 문제를 해결하기 위해 사용된다.
또한 logistic regression은 0과 1을 포함한 사이에 수를 구하기 때문에 선형 회귀와 달리 확률을 예측하는데 사용된다.
이번 포스트에서 정리할 logistic regression은 이진분류모델일 때의 예다.
이런 logistic regression에서는 중요한 2가지 개념이 나온다.
Odds(오즈)
odds(오즈)는 한국말로 승산이라 한다.
이 함수는 사건이 발생하지 않을 확률과 발생할 확률사이의 비를 나타낸다.
Logit
이런 odds는 양수 일때는 무한대로 늘어나지만 0이하부터는 0으로 고정이 되어 선형 회귀에 사용될 수 없다 이러한 단점을 해결하기 위해 로그를 씌우는 로짓 변환을 거친다
이 식에 지수를 취해 조건부확률에 대해 정리하게 되면 이렇게 된다.
이 식은 sigmoid와 같다 그래서 regression으로 추정한 식이 sigmoid function을 통과한 것 과 같은 형식이 된다.
만약 Y=1으로 분류를 하고 싶다면
좌변을 p(x)로 치환해서 이를 정리해보면,
이를 통해 weighted sum이 0보다 큰 것을 Y=1로, 그 반대는 Y=0으로 정할 수 있다.
출처:
https://www.youtube.com/watch?v=i9sC5Er1icY&t=4s
https://devhwi.tistory.com/18
https://ko.wikipedia.org/wiki/%EB%A1%9C%EC%A7%80%EC%8A%A4%ED%8B%B1_%ED%9A%8C%EA%B7%80
https://wikidocs.net/22881
https://m.blog.naver.com/winddori2002/221706766540
https://sanghyu.tistory.com/12
https://www.youtube.com/watch?v=RjbGlpteOAY
