회귀 지도학습
-
회귀 지도학습 알고리즘
• 수치 예측 문제에 사용
• 인풋 변수(X)를 활용하여 숫자인(numerical) 아웃풋 변수(y)를 예측 -
예시
• 광고비 데이터를 이용하여 판매량을 예측
• 고객 데이터를 이용하여 다음달 구매 금액을 예측
• 기업 재무정보를 이용하여 주가를 예측
회귀 지도학습
• X변수 개수에 따른 그래프 형태
• 예시 - TV광고에 따른 매출
- 함수(식)을 만들기 위해 회귀지도학습을 사용
-> X 변수가 1개인 경우
-> X 변수가 2개인 경우
직선의 방정식
• = +
• Y = 기울기 * X + Y 절편
회귀지도학습은 즉 이 두개의 변수값을 결정하는 것임
회귀 지도학습의 기울기
• 기울기는 X 가 1 단위 증가할 때, Y 의 변화량 이라고 해석 할 수 있다• 선형식에서 기울기를 알고 있다면, X 가 Y 에 미치는 영향을 알 수있다• 즉, X 를 이용하여 Y 를 예측할 수 있다!
• 따라서, 선형회귀에서 학습하고자 하는 것은 바로 선형식의 기울기이다!
회귀지도학습 맛보기 실습
선형회귀
- 독립변수(x)와 종속변수(y)의 관계를 일차함수로 가정
• 변수 x, y 외에 기울기와 절편값 필요
참회귀선 : 전수
적합회귀선 : 표본
선형회귀 모델링 절차
- 기본 절차는 분류 모델링과 유사
- 데이터 전처리/EDA
• 결측치 처리 등 분류 모델과 유사하게 진행
• 스케일링은 더 중요할 수 있으며, 원핫 인코딩 등은 적용시 주의 필요
• X와 y, Train set와 Test set 분할하는 과정도 분류 모델과 유사 - 모델 적합
• 회귀 모델을 이용하여 학습 - 성능평가
• 회귀 모델에서는 분류 모델과 성능 지표가 다름
참고 !
분류모델에서는 밸런싱 중요. 회귀는 아님
모델 적합
-
최소 제곱법 (Method of Least Square)
• 관측값과 예측값 사이의 오차의 제곱 합이 최소 (Sum of the Squared Errors, SSE)가 되는 해(solution)을 구하는 방법
• 선형 회귀에서는 해(solution) = 기울기
• 즉, 최소 제곱법을 이용하여 기울기(b)를 추정 -
성능평가 지표(MAE)
• MAE(Mean Absolute Error)
• 오차의 절대값의 평균
-
성능평가 지표(MSE, RMSE)
-
MSE(Mean Squared Error)
• MAE에 비해 특이치(오차가 큰 값)에 민감
RMSE(Root Mean Squared Error)
• MSE 값이 제곱으로 인해 커지므로 원래의 값과 비슷하도록 줄이고자 root를 적용
MAE보다는 MSE나 RMSE를 더 많이 씀
- MAE, MSE, RMSE 해석
• 오차값을 기준으로 하므로 MAE, MSE, RMSE는 모두 작을수록좋은모형• MAE 값은 평균적인 오차값으로 해석할 수 있음
• MAE값이 같더라도 RMSE값이 크다면 오차가 큰 특이값들이 포함되어있다는 뜻
MAE는 둘다 10으로 같지만 MSE값이 1번이 더 작으니 1이 더 좋은 모델임.
• 성능평가지표(결정계수)
• 회귀모형 없이 하나의 값으로 예측할 경우 가장 오차가 작아지려면?
• 예시) 100명의 키를 예측한다면?
-> 평균이 가장 적합
-> 회귀 사용 전
-> 회귀 사용 후
성능평가지표(결정계수)
- 회귀를 통해서 얼마나 예측오차가 줄어들었는지를 측정함
• 회귀를 사용하지 않을 때 제곱한 잔차의 합: 41.1879
• 회귀를 사용했을 때 제곱한 잔차의 합: 13.7627
• 줄어든 제곱한 잔차의 합: 41.1879 - 13.7627 = 27.4252
• 백분율로 나타내면
• 결정계수(R2)는 0.6659
• 결정계수는 x에 대한 회귀분석을 통해 변수 y의 변동비율과 회귀모델의 설명력을나타냄
