[혼공머신:2주차] Chapter 03 회귀 알고리즘과 모델 규제

prana·2024년 1월 14일

😎 코랩 실습 인증

기본 미션 인증

02-2 데이터 전처리 ### 넘파이로 데이터 준비하기 >fish_length = [25.4, 26.3, 26.5, 29.0, 29.0, 29.7, 29.7, 30.0, 30.0, 30.7, 31.0, 31.0, 31.5, 32.0, 32.0, 32.0, 33.0, 33.0, 33.5, 33.5, 34.0, 34.0, 34.5, 35.0, 35.0, 35.0, 35.0, 36.0, 36.0, 37.0, 38.5, 38.5, 39.5, 41.0, 41.0, 9.8, 10.5, 10.6, 11.0, 11.2, 11.3, 11.8, 11.8, 12.0, 12.2, 12.4, 13.0, 14.3, 15.0] fish_weight = [242.0, 290.0, 340.0, 363.0, 430.0, 450.0, 500.0, 390.0, 450.0, 500.0, 475.0, 500.0, 500.0, 340.0, 600.0, 600.0, 700.0, 700.0, 610.0, 650.0, 575.0, 685.0, 620.0, 680.0, 700.0, 725.0, 720.0, 714.0, 850.0, 1000.0, 920.0, 955.0, 925.0, 975.0, 950.0, 6.7, 7.5, 7.0, 9.7, 9.8, 8.7, 10.0, 9.9, 9.8, 12.2, 13.4, 12.2, 19.7, 19.9]
```python import numpy as np np.column_stack(([1,2,3], [4,5,6])) fish_data = np.column_stack((fish_length, fish_weight))

print(fish_data[:5])

print(np.ones(5))

fish_target = np.concatenate((np.ones(35), np.zeros(14)))

print(fish_target)

### 사이킷런으로 훈련 세트와 테스트 세트 나누기 
```python
from sklearn.model_selection import train_test_split

나누고 싶은 리스트나 배열을 원하는 만큼 전달하면 됨

03-1 k-최근접 이웃 회귀

무게를 예측해야 하는 상황

정확하게 측정한 농어 샘플 56개

k-최근접 이웃 회귀

학습 알고리즘: 분류 / 회귀(regression)

분류: 샘플 몇 개의 클래스 중 하나로 분류하는 문제

✅회귀: 임의의 어떤 숫자를 예측하는 문제

ex: 내년도 경제 성장률 예측, 배달이 도착할 시간 예측, 농어 무게 예측

정해진 클래스가 없고 임의의 수치를 출력

perch_length = np.array([8.4, 13.7, 15.0, 16.2, 17.4, 18.0, 18.7, 19.0, 19.6, 20.0, 21.0,
      21.0, 21.0, 21.3, 22.0, 22.0, 22.0, 22.0, 22.0, 22.5, 22.5, 22.7,
      23.0, 23.5, 24.0, 24.0, 24.6, 25.0, 25.6, 26.5, 27.3, 27.5, 27.5,
      27.5, 28.0, 28.7, 30.0, 32.8, 34.5, 35.0, 36.5, 36.0, 37.0, 37.0,
      39.0, 39.0, 39.0, 40.0, 40.0, 40.0, 40.0, 42.0, 43.0, 43.0, 43.5,
      44.0])
perch_weight = np.array([5.9, 32.0, 40.0, 51.5, 70.0, 100.0, 78.0, 80.0, 85.0, 85.0, 110.0,
      115.0, 125.0, 130.0, 120.0, 120.0, 130.0, 135.0, 110.0, 130.0,
      150.0, 145.0, 150.0, 170.0, 225.0, 145.0, 188.0, 180.0, 197.0,
      218.0, 300.0, 260.0, 265.0, 250.0, 250.0, 300.0, 320.0, 514.0,
      556.0, 840.0, 685.0, 700.0, 700.0, 690.0, 900.0, 650.0, 820.0,
      850.0, 900.0, 1015.0, 820.0, 1100.0, 1000.0, 1100.0, 1000.0,
      1000.0])

회귀 문제 다루기(문제 해결 과정)

농어의 높이, 길이 등 수치로 무게를 예측해달라고 요청

회귀: 임의의 수치를 예측하는 문제
k-최근접 이웃 회귀 모델
- 1. 가장 먼저 가까운 k개의 이웃 찾기
- 1. 이웃 샘플의 타깃값을 평균하여 이 샘플의 예측값으로 사용
사이킷런 회귀 모델의 점수 R²: 결정 계수의 값 반환
- 1에 가까울수록 좋다👍
- 정량적 평가 원할 경우: 절댓값 오차가 대표적
훈련 세트의 점수와 테스트 세트의 점수 차이가 크면 좋지 않다. 👎
과대적합: 테스트 점수가 너무 낮아 모델이 훈련 세트에 과도하게 맞춰진 경우
- 모델 덜 복잡하게 만들어야 함
- k-최근접 이웃: k값을 늘림
과소적합: 테스트 점수가 너무 높거나 두 점수가 모두 낮은 경우
- k-최근접 이웃: k값을 줄임

결정계수 `R²`

분류: 테스트 세트에 있는 샘플을 정확하게 분류한 개수의 비율-> 정확도
회귀: 정확한 숫자를 맞히는 것은 거의 불가능하다.
- 예측하는 값이나 타깃 모두 임의의 수치이기 때문.
- 👉결정계수(R²) 로 평가한다.

각 샘플의 타깃과 예측한 값의 차이를 제곱하여 더함

타깃과 타깃 평균의 차이를 제곱하여 더한 값으로 나눔

😶 예측이 타깃에 아주 가까워지면 1에 가까운 값이 된다.

사이킷런은 mean_absolute_error는 타깃과 예측의 절댓값 오차를 평균하여 반환

기본미션 p128 문제 2번

# 128쪽 문제 2번
# k-최근접 이웃 회귀 객체를 만듭니다
knr = KNeighborsRegressor()

# 5에서 45까지 x좌표를 만듭니다
x = np.arange(5, 45).reshape(-1, 1)

# n = 1,5, 10일때 예측 결과를 그래프로 그립니다.
for n in [1, 5, 10]:
    # 모델을 훈련합니다
    knr.n_neighbors = n
    knr.fit(train_input, train_target)
    # 지정한 범위 x에 대한 예측을 구합니다.
    prediction = knr.predict(x)

    #훈련 세트와 예측 결과를 그래프로 나타냅니다. 
    plt.scatter(train_input, train_target)
    plt.plot(x, prediction)
    plt.title('n_neighbors = {}'.format(n))
    plt.xlabel('length')
    plt.ylabel('weight')
    plt.show()