분류 모델(Classification, 지도)의 성능을 평가하기 위해서 Accuracy, Precision, Recall, F1 score 사용
회귀 모델(Regression, 지도)의 성능을 평가하기 위해서 MAE, MSE, RMSE 사용
대표적인 회귀 모델(Regression) 의 성능 평가 지표에 대해 알아보겠습니다.
평균 절대 오차(Mean Absolute Error)
1. 정의
- 얼마나 정확하게 예측을 했는지가 중요하다. 동일하게 예측하면 가장 좋고, 아닐 경우 가장 가깝게 예측하는 것이 좋다. 실제값과 예측값 비교
- 실제값과 예측값의 차이(=오차)를 절댓값(음수x)으로 변환한 뒤 합산하여 평균(오차의 전반적인 분포)
2. 특징
- 오차(Error)에 절대값을 취하기 때문에 에러의 크기가 그대로 반영됨.(모든 오차를 동일하게 취급)
- 이상치가 많은 경우에 주로 사용되고 값이 낮을수록 좋다.
- 직관적이고 정답 및 예측값과 같은 단위를 가짐
- 실제 정답보다 낮게 예측했는지, 높게 했는지 파악 힘듦
- 스케일 의존적(scal dependency) : 모델마다 에러 크기가 동일해도 에러율 동일 x
평균 제곱 오차 MSE(Mean Squared Error)
1. 정의
- MAE와 같이 음수가 되는 오차를 만들지 않고 제곱하는 방법도 존재(MSE)
- 실제 정답 값과 예측 값의 차이를 제곱한 뒤 평균
2. 특징
- 특이값이 존재하면 수치가 많이 늘어나고, 값이 낮을수록 좋다.
- 큰 오차에 더 큰 패널티 부과. 제곱하기 때문에 1미만의 에러는 작아지고, 그 이상의 에러는 커짐(가중치 반영)
- 실제 정답보다 낮게 예측했는지, 높게 했는지를 파악하기 힘듦
- 스케일 의존적(scal dependency) : 모델마다 에러 크기가 동일해도 에러율 동일 x
평균 제곱근 오차 RMSE(Root Mean Squared Error)
1. 정의
- MSE 같은 오차의 제곱을 구하므로 값이 커짐. 루트를 씌어 에러를 제곱해서 생기는 값의 왜곡이 줄어듦
2. 특징
- MSE의 제곱근으로, 큰 오차에 더 큰 페널티를 부과하지만 원래 단위로 돌아옴
- MAE와 함께 가장 일반적으로 많이 쓰이임. 값이 낮을수록 좋다.
- 에러에 따른 손실이 기하 급수적으로 올라가는 상황에 적합
- 제곱하기 때문에 1미만의 에러는 작아지고, 그 이상의 에러는 커짐
- 실제 정답보다 낮게 예측했는지, 높게 했는지를 파악하기 힘듦
- 스케일 의존적(scal dependency) : 모델마다 에러 크기가 동일해도 에러율 동일 x
RMSLE(Root Mean Squared Logarithmic Error)
1. 정의
- 예측 값과 실제 값의 차이를 로그 변환하여 계산한 후, 그 차이의 제곱 평균의 제곱근을 구한 값
2. 특징
- 예측 오차를 측정하는 데 사용되며, 특히 큰 값보다 작은 값의 오차를 더 중요시 하는 경우에 사용
- 예측 값이 실제 값보다 훨씬 클 때 더 큰 패널티 부과하므로, 예측 값이 과대평가되는 것을 방지
- 장점
- 안정성 : 예측 값과 실제 값이 모두 0에 가까울 때도 로그 변환을 통해 안정적인 값
- 과대평가 방지 : 예측 값이 실제 값보다 훨씬 클 때 더 큰 패널티 부과. 이는 과대평가를 방지하고 모델의 신뢰성을 높이는 데 도움
R2 score = R squared
1. 정의
- 다른 지표(MAE, MSE, RMSE) 들은 모델마다 값이 다르기 때문에 절대 값만 보고 성능을 판단하기 어렵다.
- 다른 지표(MAE, MSE, RMSE) 들은 값이 작을수록 좋고, R2 score 는 값이 1에 가까울수록 좋음
- R2 Score 는 상대적인 성능을 나타내기 비교적 쉽다.
- 실제 값의 분산 대비 예측값의 분산 비율을 의미
