K-최근접 이웃(K-NN)

Tae Yoon·2024년 6월 26일

2-1

용어 정리 및 데이터 준비

지도 학습

정답을 제공하고 알고리즘이 정답을 맞히는 것을 학습

데이터: 입력(input)
정답: 타깃(target)
테스트 세트: 평가에 사용하는 데이터
훈련 세트: 훈련에 사용하는 데이터

데이터 준비

fish_length = [25.4, 26.3, 26.5, 29.0, 29.0, 29.7, 29.7, 30.0, 30.0, 30.7, 31.0, 31.0,
                31.5, 32.0, 32.0, 32.0, 33.0, 33.0, 33.5, 33.5, 34.0, 34.0, 34.5, 35.0,
                35.0, 35.0, 35.0, 36.0, 36.0, 37.0, 38.5, 38.5, 39.5, 41.0, 41.0, 9.8,
                10.5, 10.6, 11.0, 11.2, 11.3, 11.8, 11.8, 12.0, 12.2, 12.4, 13.0, 14.3, 15.0]
fish_weight = [242.0, 290.0, 340.0, 363.0, 430.0, 450.0, 500.0, 390.0, 450.0, 500.0, 475.0, 500.0,
                500.0, 340.0, 600.0, 600.0, 700.0, 700.0, 610.0, 650.0, 575.0, 685.0, 620.0, 680.0,
                700.0, 725.0, 720.0, 714.0, 850.0, 1000.0, 920.0, 955.0, 925.0, 975.0, 950.0, 6.7,
                7.5, 7.0, 9.7, 9.8, 8.7, 10.0, 9.9, 9.8, 12.2, 13.4, 12.2, 19.7, 19.9]
                
from sklearn.neighbors import KNeighborsClassifier
kn=KNeighborsClassifier()

훈련, 테스트 세트 분할 과정

테스트, 훈련 세트 분할

train_input=fish_data[:35]
train_target=fish_target[:35]
test_input=fish_data[35:]
test_target=fish_target[35:]

kn.fit(train_input, train_target)
kn.score(test_input, test_target)

샘플링 편향

훈련 세트와 테스트 세트에 샘플이 골고루 섞여 있지 않는 현상

넘파이 행렬을 통해 49x2 행렬을 만들어 fish_data 저장

import numpy as np
input_arr=np.array(fish_data)
target_arr=np.array(fish_target)

np.arange 함수를 이용해서 인덱스 생성 후 np.random.shuffle을 이용해 무작위로 섞음

np.random.seed(42)
index=np.arange(49)
np.random.shuffle(index)

생성된 인덱스를 이용해 훈련, 테스트 세트 랜덤하게 분할

train_input=input_arr[index[:35]]
train_target=target_arr[index[:35]]
test_input=input_arr[index[35:]]
test_target=target_arr[index[35:]]

준비된 훈련, 테스트 세트를 산점도로 시각화

import matplotlib.pyplot as plt
plt.scatter(train_input[:,0], train_input[:,1])
plt.scatter(test_input[:,0], test_input[:,1])
plt.xlabel('length')
plt.ylabel('weight')
plt.show()

2-2

데이터 준비

넘파이의 column_stack을 이용해 fish_length와 fish_weight가 한 행씩 오도록 49x2 데이터 준비

fish_data=np.column_stack((fish_length, fish_weight))
fish_data

넘파이 이용해서 타겟 데이터 준비

fish_target=np.concatenate((np.ones(35), np.zeros(14)))

훈련, 테스트 세트 분할

위에서 사용한 인덱스를 사용해 랜덤하게 훈련, 테스트 세트를 분할하는 방법 대신 사이킥런 이용해서 분할하는 방법

from sklearn.model_selection import train_test_split
train_input, test_input, train_target, test_target=train_test_split(fish_data, fish_target, random_state=42, stratify=fish_target)

K-NN 학습

from sklearn.neighbors import KNeighborsClassifier
kn=KNeighborsClassifier()
kn.fit(train_input, train_target)
kn.score(test_input, test_target)

데이터 예측

print(kn.predict([[25,150]]))

기준대로 하면 '1'이 나와야 한다. 하지만 '0'이 나왔음

예측 문제 해결 과정

주변 이웃들을 확인하기 위해 distance와 indexes 변수를 생성
K-NN의 kneighbors 함수를 이용해 이웃들의 정보를 확인한 후 시각화

distance, indexes=kn.kneighbors([[25,150]])
plt.scatter(train_input[:,0], train_input[:,1])
plt.scatter(25,100, marker='^')
plt.scatter(train_input[indexes, 0], train_input[indexes,1], marker='D')
plt.xlabel('length')
plt.ylabel('weight')
plt.show()

이후 distance를 확인했더니 거리비율이 이상하게 느껴진다. 가장 가까운 첫 번째 샘플까지의 거리가 92이고, 다음 으로 가까운 이웃이 130 차이나는데 그래프 상으로는 훨씬 더 차이나게 느껴진다.

array([[ 92.00086956, 130.48375378, 130.73859415, 138.32150953, 138.39320793]])

그래서 x축을 0~1000으로 제한 하여 그래프를 생성해봤다.

plt.scatter(train_input[:,0], train_input[:,1])
plt.scatter(25,100, marker='^')
plt.scatter(train_input[indexes, 0], train_input[indexes,1], marker='D')
plt.xlim(0,1000)
plt.xlabel('length')
plt.ylabel('weight')
plt.show()

이를 통해 길이(x축)은 가장 가까운 이웃을 찾는 데 크게 영향을 미치지 못했다.
즉, 길이와 무게 두 특성의 스케일이 다르다.
거리기반 알고리즘들은 샘플 간의 거리에 영향을 많이 받으므로 일정한 기준으로 맞춰야 한다.
이러한 작업을 '데이터 전처리'라고 한다.

여기서는 표준점수를 사용해 전처리 했다.
우선 각 특성별로 평균, 표준편차를 구하기 위해 axis=0을 지정해 평균, 표준편차를 구했다.

mean=np.mean(train_input, axis=0)
std=np.std(train_input, axis=0)

원본 데이터에서 평균을 빼고 표준편차로 나눈값인 표준점수를 구한다.

train_scaled=(train_input-mean)/std

표준점수로 변환 후 시각화 결과

new=([25,150]-mean)/std
plt.scatter(train_scaled[:,0], train_scaled[:,1])
plt.scatter(new[0], new[1], marker='^')
plt.xlabel('length')
plt.ylabel('weight')
plt.show()