04. k-최근접 이웃 회귀

colab link

K-NN Regression

1. k-최근접 이웃 회귀
지도학습은 분류와 회귀(예측)으로 분류 된다. 회귀는 클래스 중 하나로 분류하는 것이 아닌 임의의 어떤 숫자를 예측하는 문제이다. (두 변수 사이의 상관관계를 분석하는 방법을 회귀라고도 부른다.)
샘플에 가장 가까운 샘플을 k개를 선택하고 이 수치들의 평균을 구하여 새로운 샘플의 타깃 값을 예측한다.

2. 데이터 준비
농어의 길이만 사용한다

perch_length = np.array([8.4, 13.7, 15.0, 16.2, 17.4, 18.0, 18.7, 19.0, 19.6, 20.0, 21.0,
       21.0, 21.0, 21.3, 22.0, 22.0, 22.0, 22.0, 22.0, 22.5, 22.5, 22.7,
       23.0, 23.5, 24.0, 24.0, 24.6, 25.0, 25.6, 26.5, 27.3, 27.5, 27.5,
       27.5, 28.0, 28.7, 30.0, 32.8, 34.5, 35.0, 36.5, 36.0, 37.0, 37.0,
       39.0, 39.0, 39.0, 40.0, 40.0, 40.0, 40.0, 42.0, 43.0, 43.0, 43.5,
       44.0])
perch_weight = np.array([5.9, 32.0, 40.0, 51.5, 70.0, 100.0, 78.0, 80.0, 85.0, 85.0, 110.0,
       115.0, 125.0, 130.0, 120.0, 120.0, 130.0, 135.0, 110.0, 130.0,
       150.0, 145.0, 150.0, 170.0, 225.0, 145.0, 188.0, 180.0, 197.0,
       218.0, 300.0, 260.0, 265.0, 250.0, 250.0, 300.0, 320.0, 514.0,
       556.0, 840.0, 685.0, 700.0, 700.0, 690.0, 900.0, 650.0, 820.0,
       850.0, 900.0, 1015.0, 820.0, 1100.0, 1000.0, 1100.0, 1000.0,
       1000.0])

from sklearn.model_selection import train_test_split
train_input, test_input, train_target, test_target = train_test_split(perch_length, perch_weight, random_state = 42)

사이킷런에 사용할 훈련세트는 항상 2차원 배열 형태이다
reshpe() 메서드를 사용해 배열의 크기를 변경

from sklearn.model_selection import train_test_split
train_input, test_input, train_target, test_target = train_test_split(perch_length, perch_weight, random_state = 42)

크기에 -1을 지정하면 나머지 원소 개수로 모두 채우라는 의미

2. 결정계수(R^2)

from sklearn.neighbors import KNeighborsRegressor

knr = KNeighborsRegressor()

knr.fit(train_input, train_target)

회귀는 분류와 달리(분류에서는 정확도) 결정계수로 평가 점수를 결정한다.

타깃의 평균정도를 예측하는 수준이라면 R^2는 0에 가까워지고, 예측이 타깃에 아주 가까워지면 1에 가까운 값이 된다.

from sklearn.metrics import mean_absolute_error

#테스트 세트에 대한 예측을 만듭니다
test_prediction = knr.predict(test_input)

#테스트 세트에 대한 평균 절댓값 오차를 계산합니다
mae = mean_absolute_error(test_target, test_prediction)
print(mae)

3. 과대적합 vs 과소적합

훈련세트에서 점수가 좋았는데 테스트세트에서는 점수가 나쁘다면 모델이 훈련세트에 과대적합되었다고 말한다. 훈련세트보다 테스트 세트의 점수가 높거나 두 점수 모두 낮은 경우는 모델이 훈련세트에 과소적합되었다 한다.

이웃의 개수를 줄이면 훈련세트에 있는 국지적인 패턴에 민감해지고(과대적합), 이웃의 개수를 늘리면 데이터 전반에 있는 일반적인 패턴을 따른다.(과소적합)

추가
k-nn 이웃의 수에 따른 모델 패턴 확인

knr = KNeighborsRegressor()
x = np.arange(5, 45).reshape(-1,1)

for n in [1, 5, 10]:
  knr.n_neighbors = n
  knr.fit(train_input, train_target)
  prediction = knr.predict(x)

  plt.scatter(train_input, train_target)
  plt.plot(x, prediction)
  plt.title('n_neighbors = {}'.format(n))
  plt.xlabel('length')
  plt.ylabel('weight')
  plt.show()