[혼공머신] 산점도 그래프에서 특성의 스케일 조정과 표준점수를 이용한 데이터 전처리

강민우·2022년 1월 11일

matplotlib numpy python scikit learn 머신러닝

혼자 공부하는 머신러닝-딥러닝

목록 보기

4/23

[혼자 공부하는 머신러닝+딥러닝] 책에 기반한 정리글입니다.
전체 소스코드는 아래 Github 링크에서 확인할 수 있습니다.

깃허브 링크

0. 개요

전 편의 머신러닝 모델에서, 길이 25cm, 무게 150cm의 도미는 빙어로 분류하는 에러가 있다.
이번 포스팅에서는 표준점수를 통한 특성의 스케일 변환과 훈련 세트의 데이터 전처리를 알아본다.

1. 샘플 데이터의 예측값 보기.

1-1. 데이터 준비하기

fish_length = [25.4, 26.3, 26.5, 29.0, 29.0, 29.7, 29.7, 30.0, 30.0, 30.7, 31.0, 31.0, 
                31.5, 32.0, 32.0, 32.0, 33.0, 33.0, 33.5, 33.5, 34.0, 34.0, 34.5, 35.0, 
                35.0, 35.0, 35.0, 36.0, 36.0, 37.0, 38.5, 38.5, 39.5, 41.0, 41.0, 9.8, 
                10.5, 10.6, 11.0, 11.2, 11.3, 11.8, 11.8, 12.0, 12.2, 12.4, 13.0, 14.3, 15.0]
fish_weight = [242.0, 290.0, 340.0, 363.0, 430.0, 450.0, 500.0, 390.0, 450.0, 500.0, 475.0, 500.0, 
                500.0, 340.0, 600.0, 600.0, 700.0, 700.0, 610.0, 650.0, 575.0, 685.0, 620.0, 680.0, 
                700.0, 725.0, 720.0, 714.0, 850.0, 1000.0, 920.0, 955.0, 925.0, 975.0, 950.0, 6.7, 
                7.5, 7.0, 9.7, 9.8, 8.7, 10.0, 9.9, 9.8, 12.2, 13.4, 12.2, 19.7, 19.9]

import numpy as np
fish_data = np.column_stack((fish_length, fish_weight)) #튜플로 전달, 리스트 세로로 붙이기
fish_target = np.concatenate((np.ones(35), np.zeros(14))) #리스트 가로로 붙이기

전 편과 같은 데이터를 numpy를 사용하여 만들었다.
np.column_stack((list1, list2)) 리스트를 세로로 붙인다.
np.concatenate((list1, list2)) 리스트를 같은 차원으로 이어붙인다.

from sklearn.model_selection import train_test_split
train_input, test_input, train_target, test_target = train_test_split(fish_data, fish_target, stratify=fish_target)

test_target
#테스트 비율이 2.25:1로, 35:14 = 2.5:1 과 비슷함

train_test_split(data, target, stratify=target)

훈련 세트와 테스트 세트를 섞어서 나누어주는 메소드.
처음 두개는 입력 데이터, 나중 두개는 타깃 데이터, 25%가 테스트 세트로 반환
무작위로 데이터를 나누었을 때 샘플링 편향이 나타날 수 있어 stratify매개변수에 타깃 데이터 전달, 클래스 비율에 맞게 데이터 나누어짐.

1-2. 훈련 모델에 샘플값 넣기

from sklearn.neighbors import KNeighborsClassifier
kn = KNeighborsClassifier()
kn.fit(train_input, train_target)

print(kn.predict([[25, 150]])) #실제로는 도미인데 빙어로 예측

출력 [0.]
샘플 데이터는 실제로 도미이지만, 빙어로 예측됨을 확인했다.

1-3. 샘플과 가까운 이웃 찾기

import matplotlib.pyplot as plt

distance, indexes = kn.kneighbors([[25,150]])
#가장 가까운 이웃을 찾아주는 kneighbors 메서드
#이웃까지의 거리, 이웃까지의 index 5개 반환

plt.scatter(train_input[:,0], train_input[:,1])
plt.scatter(25, 150, marker="^")
plt.scatter(train_input[indexes,0], train_input[indexes,1], marker="D")

plt.xlabel('length')
plt.ylabel('weight')
plt.show()

산점도로 그린 결과 도미에 더 가까우나
빙어에 가까운 이웃이 많아 훈련모델은 샘플을 빙어로 예측함.

이 경우에 우리는 길이와 무게의 Scale을 고려해야 한다.

x축은 범위가 좁고, y축은 범위가 넓다.

때문에 y축으로 조금만 멀어져도 거리가 큰 값으로 달라진다.

이를 막기 위해 특성값을 일정한 기준에 맞추는 데이터 전처리가 필요하다.

1-4. Scale을 맞추어 특성 파악하기

plt.scatter(train_input[:,0], train_input[:,1])
plt.scatter(25, 150, marker="^")
plt.scatter(train_input[indexes,0], train_input[indexes,1], marker="D")
plt.xlim((0, 1000))
plt.xlabel('length')
plt.ylabel('weight')
plt.show()

이를 통해 생선의 길이와 상관없이 무게가 고려대상임을 확인할 수 있다.

2. 표준점수로 데이터 전처리 하기

표준점수는 가장 널리 사용하는 데이터 전처리 방법 중 하나이다.
표준점수 = (데이터 - 평균) / 표준편차

2-1. 훈련 모델의 평균과 표준편차, 표준점수 구하기

mean = np.mean(train_input, axis=0) #평균
std = np.std(train_input, axis=0) #표준편차
train_scaled = (train_input - mean) / std #표준점수

2-2. 표준점수를 산점도로 그리기

new = ([25, 150] - mean) / std #샘플을 표준점수로 변환
plt.scatter(train_scaled[:,0], train_scaled[:,1])
plt.scatter(new[0], new[1], marker="^")
plt.xlabel('length')
plt.ylabel('weight')
plt.show()

2-3. 표준점수로 모델 훈련하기

#표준점수로 모델 훈련
kn.fit(train_scaled, train_target)

test_scaled = (test_input - mean) / std #테스트 세트도 표준점수로 변환
kn.score(test_scaled, test_target) #정확도 측정

kn.predict([[25,150]]) #이제 도미로 예측

출력 array([1.])
주어진 샘플 데이터를 도미로 예측하는 것을 볼 수 있다.

2-4. 샘플과 가까운 이웃의 변화 관찰하기

distances, indexes = kn.kneighbors([new])
plt.scatter(train_scaled[:,0], train_scaled[:,1])
plt.scatter(new[0], new[1], marker="^")
plt.scatter(train_scaled[indexes,0], train_scaled[indexes, 1], marker="D")
plt.xlabel('length')
plt.ylabel('weight')
plt.show()