Machine Learning:Classification, KNN

Supervised Learning

Classification

📌개념

주어진 데이터를 2개 이상의 클래스로 분류하는 것이다. feature x가 주어졌을 때, 클래스 y를 결정하는 함수를 사용한다.
feature x는 여러개일 수 있다.
K-Nearest Neighbor, Decision Tree, Neural Network 등을 적용하여 구할 수 있다.

---

KNN

📌Nonparametric methods

Nonparametric methods란 parameter가 없고 데이터를 그냥 저장하는 방식을 말한다. 모델을 생성하지 않고 데이터 각각을 이용한다. 새 데이터가 들어오면 그에 따라 output을 산출한다. 따라서 데이터 개수만큼의 저장공간이 필요하다. Lazy learning이라고도 불린다.

Parametric methods란 parameter가 있는 방식이며, 대부분의 모델들은 parametric 방식이다.

📌1-Nearest Neighbor

새로운 데이터(분류하고자 하는 데이터)가 들어왔을 때, 하나의 최근접 데이터를 이용해 새 데이터를 예측한다. 간단히 말해 가장 가까운 것 하나를 찾자는 것이다. 가장 가까운 것을 선택하려면 거리를 계산해야하는데, 거리 계산 방식은 유클리드 거리 공식을 사용한다.

가장 가까운 데이터의 클래스가 새 데이터의 클래스가 될 것이다.

📌K-Nearest Neighbor

여기서는 가장 가까운 K개의 데이터를 이용해 새 데이터를 분류한다. 거리를 측정하는 방식은 동일하게 유클리드 거리 공식을 이용한다.
Majority vote는 다수결 방식이다. 가까운 K개의 데이터 중 다수의 클래스가 새 데이터의 클래스가 된다.
Weighted Majority vote는 다수결 방식에 똑같은 1표를 주는 것이 아니라, 가까울수록 영향력을 높이는 것이다. 거리가 가까울수록 영향력인 weight는 커져야 하므로, weight를 반영한 계산을 할 때 거리의 역수를 곱해주면 된다.

이때 K에 따라 결과가 달라질 수 있으므로 K를 적절히 정하는 것이 중요하다.
KNN은 매우 직관적이고 간단하며, 정확도가 높다는 장점이 있다.