[혼공머신] 2주차 - 회귀 알고리즘

3. 회귀 알고리즘과 모델 규제

• 회귀 : 임의의 수치를 예측

k-최근접 이웃 회귀

• 예측하려는 샘플에 가까운 샘플의 정보를 통해 결과를 예측

결정계수 R^2

• 1에 가까울수록 좋고, 0에 가까울수록 성능이 나쁨
• 타깃이 평균에 가까우면 0에, 예측이 타깃에 가까우면 1에 가까움

과대적합, 과소적합

• 과대적합(overfitting) : 테스트 세트에 과도하게 학습돼서 추론의 정답률이 낮은 경우
  • 규제를 통해 방지 가능
• 과소적합(underfitting) : 테스트 세트가 부족해서 추론의 정답률이 낮은 경우

한계점

• 가장 가까운 샘플을 통해 결과를 추론함.
• 훈련 세트의 범위 외의 값을 추론할 경우, 정답률이 낮음

선형 회귀

• 테스트 특성 값의 선형 특징을 찾아서 1차 방정식 (직선) 을 구하는 방식
• y = ax + b 식일 경우, a는 LinearRegression 객체의 coef 속성에, b는 intercept 속성에 저장됨.

다항 회귀

• 테스트 데이터의 특성 식이 다항식인 경우의 선형 회귀

특성 공학과 규제

다중 회귀

• 여러 특성을 사용한 선형 회귀
• 특성이 많아질 수록 차원이 높아지고 연산이 많아짐

릿지 회귀, 라쏘 회귀

• 선형 회귀 모델에 규제 추가

미션

기본 미션