혼자 공부하는 머신러닝+딥러닝
Chapter 2-2
데이터 전처리
정확도 100%의 모델이 길이 25, 무게150인 생선을 도미가 아닌 빙어로 예측한다?
코드
from sklearn.neighbors import KNeighborsClassifier
from sklearn.model_selection import train_test_split
import matplotlib.pyplot as plt
import numpy as np
fish_lenght = [25.4, 26.3, 26.5, 29.0, 29.0, 29.7, 29.7, 30.0, 30.0, 30.7, 31.0, 31.0,
31.5, 32.0, 32.0, 32.0, 33.0, 33.0, 33.5, 33.5, 34.0, 34.0, 34.5, 35.0,
35.0, 35.0, 35.0, 36.0, 36.0, 37.0, 38.5, 38.5, 39.5, 41.0, 41.0, 9.8,
10.5, 10.6, 11.0, 11.2, 11.3, 11.8, 11.8, 12.0, 12.2, 12.4, 13.0, 14.3, 15.0]
fish_weight = [242.0, 290.0, 340.0, 363.0, 430.0, 450.0, 500.0, 390.0, 450.0, 500.0, 475.0, 500.0,
500.0, 340.0, 600.0, 600.0, 700.0, 700.0, 610.0, 650.0, 575.0, 685.0, 620.0, 680.0,
700.0, 725.0, 720.0, 714.0, 850.0, 1000.0, 920.0, 955.0, 925.0, 975.0, 950.0,
6.7, 7.5, 7.0, 9.7, 9.8, 8.7, 10.0, 9.9, 9.8, 12.2, 13.4, 12.2, 19.7, 19.9]
kn = KNeighborsClassifier()
fish_data = np.column_stack((fish_lenght, fish_weight))
fish_target = np.concatenate((np.ones(35), np.zeros(14)))
train_input, test_input, train_target, test_target = train_test_split(fish_data,fish_target,random_state=42)
print(train_input.shape, test_input.shape) # shape() - 데이터의 크기
print(train_target.shape, test_target.shape)
print(test_target) # [1. 0. 0. 0. 1. 1. 1. 1. 1. 1. 1. 1. 1.]
# 13개 중 도미 10,빙어 3 -> 샘플링편향
train_input, test_input, train_target, test_target = train_test_split(fish_data,fish_target,stratify=fish_target,random_state=42)
# stratify=fish_target 추가
print(test_target) #[0. 0. 1. 0. 1. 0. 1. 1. 1. 1. 1. 1. 1.]
kn.fit(train_input, train_target)
print(kn.score(test_input, test_target))
print(kn.predict([[25,150]])) #[0.] = 빙어
plt.scatter(train_input[:,0],train_input[:,1])
plt.scatter(25,150,marker='^') # marker - 매개변수의 모양 지정
plt.xlabel('length')
plt.ylabel('weight')
plt.show()
distance, indexes = kn.kneighbors([[25,150]])
plt.scatter(train_input[:,0],train_input[:,1])
plt.scatter(25,150,marker='^') # marker - 매개변수의 모양 지정
plt.scatter(train_input[indexes,0],train_input[indexes,1],marker='D') # 지정샘플에 가장 가까운 5개의 샘플
plt.xlabel('length')
plt.ylabel('weight')
plt.show()
# print(train_input[indexes]) # 5개 샘플의 데이터 확인
# print(train_target[indexes])
print(distance) #[[92.00 130.48 130.73 138.32 138.39]]
어림잡아 봐도 92의 몇 배는 멀어보이는데 값은 겨우 130이다. 덕분에 가까운 샘플은 전부 빙어다...
plt.scatter(train_input[:,0],train_input[:,1])
plt.scatter(25,150,marker='^') # marker - 매개변수의 모양 지정
> plt.scatter(train_input[indexes,0],train_input[indexes,1],marker='D') # 지정샘플에 가장 가까운 5개의 샘플
plt.xlim(0,1000) # xlim - x축의 범위 지정
plt.xlabel('length')
plt.ylabel('weight')
plt.show()
xlim() 으로 범위를 지정해주면 kneighbors를 찾을 때 무게(y축)만 고려 대상이 된다.
mean = np.mean(train_input, axis=0) # mean - 평균 계산
std = np.std(train_input, axis=0) # std - 표준편차 계산
# broadcasting
train_scaled = (train_input - mean) / std
new = ([25,150] - mean) / std
test_scaled = (test_input - mean) / std
kn.fit(train_scaled, train_target)
print(kn.score(test_scaled, test_target)) #[1.]
print(kn.predict([new])) # [1.] 도미!
distance, indexes = kn.kneighbors([new])
plt.scatter(train_scaled[:,0],train_scaled[:,1])
plt.scatter(new[0],new[1],marker='^')
plt.scatter(train_scaled[indexes,0],train_scaled[indexes,1],marker='D')
plt.xlabel('length')
plt.ylabel('weight')
plt.show()
x축, y축의 범위가 -1.5 ~ 1.5 로 변경, 가까운 샘플도 모두 도미가 됐다.
- 두 특성의 값의 범위가 매우 다를 때, 이를 스케일이 다르다고 표현한다.
- 데이터를 표현하는 기준이 다르면 알고리즘(특히 k-최근접이웃같은 거리 기반 알고리즘)이 올바르게 예측하기 어렵기 때문에, 훈련 데이터를 주입하기 전에 특성값을 일정하게 맞추는 데이터 전처리를 거쳐야한다.
- 표준점수(Z점수)는 각 특성값이 0에서 표준편차의 몇 배만큼 떨어져있는지 나타낸다. 반드시 훈련 세트와 테스트 세트 모두 바꿔야 한다.
표준점수 = (데이터-평균)/표준편차 - 브로드캐스팅은 크기가 다른 넘파이 배열에서 자동으로 사칙 연산을 모든 행이나 열로 확장하여 수행하는 기능이다.
핵심패키지
Scikit-Learn
train_test_split() - 훈련 데이터를 훈련 세트와 데이터 세트로 나누는 함수. 여러 개의 배열을 전달할 수 있고, 테스트 세트의 비율은 test_size 매개변수로 지정 가능 (default = 0.25)
Numpy
mean() / std() - 평균 / 표준편차 계산
💻 + ☕ = </>