MAPE (Mean Absolute Percentage Error)

평균 절대 백분율 오류

MAPE(평균 절대 백분률 오류)는 회귀 모델의 성능을 평가하는 경우 사용하는 대표적인 평가지표입니다.
MAPE는 절대 오차(오차의 크기)를 백분율로 측정합니다. 부호 없는 백분율 오차의 평균으로 계산합니다.

산출 식

MAPE 측정값은 백분율로 표시되기 때문에, 서로 다른 척도 간의 오차의 크기를 확인할 수 있습니다.

산출 예시

실제값	예측값	절대오차	절대 백분율 오차
5	1	4	80%
15,000	15,004	4	0.03%

두 레코드 모두 절대 오차가 4이지만, 실제값과 비교하면 이 오차를 《작다》 또는 《크다》 고 평가할 수 있습니다.

MAPE 장점

• 0% - 100% 사이의 확률 값을 가지기 때문에 결과 해석이 용이합니다.

• 데이터 값의 크기와 관련된 것이 아닌 비율과 관련된 값을 가지기 때문에 다양한 모델, 데이터의 성능 비교에 용이합니다.

MAPE 단점

• 실제 정답 값에 0이 존재하는 경우 MAPE 계산이 불가능 합니다.
  (데이터 전처리 과정에서 확인이 필요)

• 실제 정답 값보다 높게 예측 하였을 경우 MAPE 최대값의 한계는 없지만 낮게 예측 하는 경우 MAPE 최대값이 100$이기 때문에, MAPE가 낮아지는 방향으로 모델을 학습하게 되면 실제 정답 값보다 낮게 예측하도록 영향을 줄 수 있습니다.

• 실제 정답 값이 0에 가까운 경우 MAPE값이 매우 커질 수 있습니다.

SMAPE (Symmetric Mean Absolute Percentage Error)

대칭 평균 절대 백분율 오류

절대 오차(오차의 크기)를 절대 실제값으로 나누는 MAPE와 달리, SMAPE는 절대 실제값과 절대 예측값의 평균으로 나눕니다. 이는 실제값이 0 또는 0에 가까울 때 중요합니다. 실제값이 0에 가까우면 MAPE 값이 무한히 높아집니다. SMAPE에는 실제값과 예측값이 모두 포함되므로, SMAPE 값은 200%를 초과할 수 없습니다.

산출 식

산출 예시

실제값	예측값	절대오차	절대 백분율 오차
5	1	4	133..%
15,000	15,004	4	0.026%

SMAPE 장점

• 0% - 200% 사이의 확률 값을 가지기 때문에 결과 해석이 용이합니다.

• 데이터 값의 크기와 관련된 것이 아닌 비율과 관련된 값을 가지기 때문에 다양한 모델, 데이터의 성능 비교에 용이합니다.

• MAPE와 다르게 실제 정답 값에 0이 존재해도 계산이 가능합니다

SMAPE 단점

• 실제 정답 값과 예측 값이 모두 0일 경우 SMAPE 계산이 불가합니다.

• 예측 값이 실제 정답 값보다 작을 때 분모가 더 작아지기 때문에 계산되는 오차가 커지는 현상이 발생합니다.

• 실제 정답 값 또는 예측 값이 0인 경우 자동적으로 SMAPE값의 크기가 최대로 도출굅니다.