10/14 6, 7세션

A. 분류 모델 평가

• 분류 모델은 0인지 1인지를 예측하는 것
• 예측 값이 실제 값과 많이 같을 수록 좋은 모델
• 정답 맞추기

B. 회귀 모델 평가

• 예측 값과 실제 값에 차이(오차) 존재
• 예측 값과 실제 값의 차이로 성능 평가
• 평균보다 오차 줄이기

C. 오차 계산

C-1. 오차 합

• 오차 평균을 구하기 위해 오차 합을 구함

1. 오차 합
2. 오차 제곱의 합
   $\sum(y-\hat{y})^2$
3. 오차 절대값의 합
   $\sum|y-\hat{y}|$

C-2. 오차 평균

1. SSE (Sum Squared Error) : 오차 제곱의 합

2. MSE (Mean Squared Error) : 오차 제곱의 합/데이터 개수

   $\sum(y-\hat{y})^2 \over n$

3. RMSE (Root MSE) : MSE 를 다시 루트 씌움. 제곱한 수이기 때문에 크기 때문.

   $\sqrt{\sum(y-\hat{y})^2 \over n}$

C-3. 오차 절대값

1. MAE (Mean Absolute Error) : 오차 절대값의 합/데이터 개수
   $\sum|y-\hat{y}| \over n$
2. MAPE (Mean Absolute Percentage Error) : 오차 비율

오차가 작을 수록 모델 성능이 좋은 것!

D. 오차를 바라보는 다양한 관점

1. SST (Sum Squared Total) : 실제값과 평균 값의 오차 제곱의 합

   $\sum(y_i-\bar{y})^2$

2. SSR (Sum Squared Regressor) : 예측값과 평균값의 오차 제곱의 합. 클 수록 좋다

   $\sum(\hat{y_i}-\bar{y})^2$

SST = SSE + SSR
전체 오차 = 해결하지 못한 오차 + 잡아낸 오차

E. 결정 계수 (R-Squared)

• 전체 오차 중에서 회귀식이 잡아낸 오차의 비율
• 오차의 비 (= 설명력)
• R^2 = 1이면 MSE = 0이고, 모델이 데이터를 완벽하게 학습한 것
• 클 수록 좋다
• 평균에 비해서 57% 정도 설명을 더 잘했습니다.

(기타) 기호

Latex 문법 참고