Logistic Regression

지능 시스템을 위한 기계학습

"기계학습"
"ML"
강의: CORNELL CS4780 "Machine Learning for Intelligent Systems"

해당 포스트는 코넬대학교 CS4780과 그 강의 자료를 정리한 내용입니다.

---

이 글을 쓰게 된 계기

기계학습에 대한 전반적인 이해와 그 알고리즘을 학습해봅시다!

---

So, what is Logistic Regression?

천천히 알아가봅시다!

Gaussian Naïve Bayes classifier 의 연장입니다..

Logistic Regression은 사실 가우시안 나이브 베이즈의 연장선에 있습니다.

중요!

Logistic Regression은 말이 회귀이지 우리는 회귀를 이용하여 분류를 하는것이 목표입니다. 따라서 Logistic Regression Classifier라고 생각하셔야합니다.

---

수식전개

이는 활성 함수의 일종인 시그모이드 함수입니다.대충 이렇게 생겼다고 생각하시면 좋습니다.

우리는 나이브 베이즈와는 달리 w, b를 바로 추정해볼 것 입니다, MLE를 통해서요.

MLE

우리는 이전에 공부했던 MLE를 통하여 이런 수식을 세웠습니다.

MAP

또한 파라미터 w의 분포를 가우시안으로 가정함으로서 MAP 또한 사용이 가능합니다.

그래서 argmin/max는 어떻게 풀어낼까요?

이것을 해결하는 방법이 바로 Gradient Descent, 경사 하강법입니다.

결론

많은 곳에서 사용하는 방법이니 잘 기억해두면 좋을 것 같네요

---

정리

참고자료 및 출처

https://www.youtube.com/playlist?list=PLl8OlHZGYOQ7bkVbuRthEsaLr7bONzbXS

https://www.cs.cornell.edu/courses/cs4780/2018fa/lectures/lecturenote02_kNN.html

위 포스트는 코넬대학교 강의 CS4780과 그 강의 자료를 정리한 내용입니다.