[DS] 머신러닝 / 지도학습 / 분류

머신러닝은 지도학습과 비지도학습으로 나뉜다.

지도학습은 레이블이 있는 데이터셋을 가지고 알고리즘을 통해 데이터를 구별해내는 판별식을 만든 후 새로운 데이터가 어떤 결괏값을 갖는지 알아내는 학습 모델이다.

지도학습은 예측과 분류로 나뉘는데, 예측은 회귀 분석이 배표적이다.
분류는 말 그대로 어떤 입력된 데이터가 어떤 그룹에 속하는지를 알아내는 것이다.

이 때 입력 데이터가 속할 그룹은 각 학습 데이터가 가지는 레이블 세트다.
예를 들어, 붓꽃을 구분하는 경우 세토사, 버시컬러, 버지니카 레이블이 분류 그룹이 된다.

머신러닝의 분류 모델은 우편물 자동 분류를 위한 필기체 인식, 도난된 신용카드 추적, 악성 이메일이나 해킹 감지분야 등에 사용된다.

분류 모델

• KNN
• 서포트 벡터 머신
• 의사결정 트리

KNN

정의

가장 직관적이고 간단한 지도학습 모델 중 하나.

인스턴스 기반 러닝, 메모리 기반 러닝이라고도 한다.
학습을 사전에 하지 않고, 새로운 데이터 태스크 요청이 오면 그때 일반화(분류)를 수행하기 때문이다.

새로운 데이터가 어느 그룹에 속하는지 분류하기 위해 그 데이터에 가장 가까운 학습 데이터가 속한 그룹을 알아본다.

https://en.wikipedia.org/wiki/K-nearest_neighbors_algorithm

모델

1. 레이블된 학습 데이터의 특성을 정량화(정규화)
2. 학습 데이터를 좌표 공간에 표현
3. 새로운 데이터를 중심으로 가상의 원을 확장
   • 새로운 데이터 발견시 데이터가 속해있는 그룹이 새로운 데이터의 그룹이 됨(K=1)
   • 3개의 데이터가 발견될 시, 발견된 3개 데이터 가운데 가장 많은 그룹을 새로운 데이터 그룹으로 결정(K=3)일 경우
   • n 개의 데이터를 발견할 때 까지 확장하고, n 개의 데이터 중 가장 많은 그룹을 새로운 데이터의 그룹으로 정한다.(K=n)

• 의사결정 해야하므로 k 는 항상 홀수이다.

결과

k의 값에 따라 결과가 달라지며, 노멀피팅을 위해 k 값을 변경한다.

• 오버피팅 : 노이즈까지 민감하게 반응
• 노멀피팅
• 언더피팅 : 의사결정 경계가 너무 둔감해서 변별이 잘 되지 않는 상황. 무시해야 할 노이즈나 아웃라이어 데이터까지 모두 정상적인 데이터로 인식하는 경우. regularization (규제화) 방법으로 해결한다.