해당 글은 '혼자 공부하는 머신러닝 + 딥러닝(한빛 미디어)' 를 학습하며 작성한 글 입니다.
K-NN 알고리즘
기존에 저장된 데이터를 기반으로 가장 가까운 n 개의 데이터 중 어떤 데이터를 더 많이 포함하는지로 분류하는 방법
예시
빙어와 도미 구분하는데 특징 벡터로 '길이'와 '무게'를 선정하여 2차원 그래프를 그린다.
새로운 길이와 무게가 주어졌을 때 x,y 좌표 상에서 가장 가까운 n개의 데이터를 선정하여 그 중 더 많은 생선으로 생선의 종류를 결정.
간단 실습
- 학습 데이터
bream_length = [25.4, 26.3, 26.5, 29.0, 29.0, 29.7, 29.7, 30.0, 30.0, 30.7, 31.0, 31.0,
31.5, 32.0, 32.0, 32.0, 33.0, 33.0, 33.5, 33.5, 34.0, 34.0, 34.5, 35.0,
35.0, 35.0, 35.0, 36.0, 36.0, 37.0, 38.5, 38.5, 39.5, 41.0, 41.0]
bream_weight = [242.0, 290.0, 340.0, 363.0, 430.0, 450.0, 500.0, 390.0, 450.0, 500.0, 475.0, 500.0,
500.0, 340.0, 600.0, 600.0, 700.0, 700.0, 610.0, 650.0, 575.0, 685.0, 620.0, 680.0,
700.0, 725.0, 720.0, 714.0, 850.0, 1000.0, 920.0, 955.0, 925.0, 975.0, 950.0]
smelt_length = [9.8, 10.5, 10.6, 11.0, 11.2, 11.3, 11.8, 11.8, 12.0, 12.2, 12.4, 13.0, 14.3, 15.0]
smelt_weight = [6.7, 7.5, 7.0, 9.7, 9.8, 8.7, 10.0, 9.9, 9.8, 12.2, 13.4, 12.2, 19.7, 19.9]- 데이터 시각화
import matplotlib.pyplot as plt
plt.scatter(bream_length, bream_weight)
plt.scatter(smelt_length, smelt_weight)
plt.xlabel('length')
plt.ylabel('weight')
plt.show()
- 학습을 위해 데이터 가공
length = bream_length + smelt_length
weight = bream_weight + smelt_weight
fish_data = [[l,w] for l,w in zip(length, weight)]
fish_target = [1] * 35 + [0] * 14 // 0은 bream, 1은 smelt- 학습
from sklearn.neighbors import KNeighborsClassifier
kn = KNeighborsClassifier() # key : n_neighbors 를 통해 근처 몇 개까지 조회할지 설정 가능(default : 5)
kn.fit(fish_data, fish_target)
# kn.score(fish_data, fish_target) // 정확도 테스트, 따로 검증 데이터는 없어서 무의미함.- 새로운 데이터 테스트
result = kn.predict([[30, 600]]) // 0 or 1결론
실질적으로 학습을 한다기보다는 준비된 데이터를 통해 거리 연산을 통해 분류하는 모델이다.
학습 데이터를 계속 들고 있다. kn._fit_X 값을 통해 조회가능
그러다보니 메모리 및 계산 시간이 오래 걸린다.
정확히 거리가 분리되지 않는 데이터, n_neighbors 개수에 따라 정확하지 못할 수 있을 것 같다.
매우 쉬운 알고리즘이다보니 머신러닝의 느낌을 가져가기 좋은 예시인 것 같다.
추가
훈련 데이터와 테스트 데이터 간단히 나누기
- 인덱스를 생성하여 셔플로 섞는다.(ex:[0,1,2] -> [2,0,1]) - 데이터 편향 방지
import numpy as np
index = np.arange(49)
np.random.shuffle(index)- numpy 를 이용해서 섞은 인덱스를 통해 데이터 분리
input_arr = np.array(fish_data)
target_arr = np.array(fish_target)
# 섞인 인덱스 0~34 까지를 분리 - 훈련 데이터
train_input = input_arr[index[:35]]
train_target = target_arr[index[:35]]
# 섞인 인덱스 35~끝 까지를 분리 - 테스트 데이터
test_input = input_arr[index[35:]]
test_target = target_arr[index[35:]]