Regression

Regression (회귀)

: 관측결과로부터 독립변수와 종속변수의 관계를 함수식으로 설명하는 방법

Linear regression (선형 회귀)

독립변수와 종속변수의 관계를 1차 식으로 설명

Correlation and regerssion

Pearson's correlation coefficient

• 독립변수와 종속변수의 관계 정도를 -1과 1사이로 정량화한 것
• 얼마만큼 선형적 상관성을 가지고 있는지를 표현
• correlation이 강한 경우, 선형회귀를 통해 새로운 입력값에 대한 출력값을 예측
  

Multivariable regression(다변량 회귀)

• 하나가 아닌 둘 이상의 독립변수와 종속변수의 관계를 식으로 나타냄

Nonlinear regression

• 독립변수와 종속변수의 관계를 2차 이상의 식으로 설명

회귀모델의 성능평가지표

MAE (Mean Absolute Error)

• 실제 값과 예측 값의 차이의 절대값의 평균
  

MSE (Mean Squared Error)

• 실제 값과 예측 값의 차이를 제곱한 후 평균
• 데이터의 Scale에 따라서 값의 변동성이 크게 나타남
  

MSLE (Mean Squared Log Error)

• MSE에 로그를 적용
  

RMSE (Root Mean Squared Error)

• 실제 값과 예측 값의 차이를 제곱한 후 평균을 취하여 제곱근
• 데이터의 Scale에 따라서 값의 변동성이 크게 나타남
  

MAPE (Mean Absolute Percentage Error)

• 실제 값과 예측 값을 실제 값에 대한 백분율로 나타냄
• 실제 값이 작을 경우 작은 오차에 대해서도 큰 값을 산출
• 실제 값이 0일 경우에 사용 불가능
  

MPE (Mean Perentage Error)

• MAPE에서 절대값을 제외한 지표
  

R-squared

• 평균값으로 예측하는 단순 모델과 sum of squared error를 비교