Confusion Matrix 분류모델 평가 지표

Evaluation

• 회귀(Regression) : MAE, MSE
• 분류(Classification) : Accuracy, Confusion Matrix, Precision, Recall, F1 score

회귀 모형에서는 실제값과 예측값의 오차 값을 기반으로 평가를 진행한다. MAE, MSE 모두 오차의 평균값을 기반으로 계산된다. 반면 분류 모형에서 0과 1을 분류하는 이진 모형에서는 다른 지표를 사용한다.

Confusion Matrix

출처 : 위키피디아

• Predicted Class의 Negative(0), Positive(1)은 모델이 예측한 결과이다.
• Actual Class의 Negative(0), Positive(1)은 실제 데이터의 정답 label이다.
• box 내부의 T, F 중 T는 Predicted Class 값과 Actual Class 값이 같은 경우이고, F는 다른 경우이다.
• box 내부의 N, P 중 N은 Predicted Class 값이 Negative이고, P는 Positive인 경우를 의미한다.
  • TN(True Negative) : 모델이 Negative로 예측했고, 실제로 Negative인 경우
  • TP(True Positive) : 모델이 Positive로 예측했고, 실제로 Positive인 경우
  • FN(False Negative) : 모델이 Negative로 예측했고, 실제로 Negative인 경우
  • FP(False Positive) : 모델이 Positive로 예측했고, 실제로 Positive인 경우

• 상황 : 눈이 내리거나(1-True), 내리지 않는다.(0-False)
  이러한 상황에서 항상 False로 예측하게 모형을 구성해도 높은 accuracy가 나타난다. 하지만 이는 쓸모없는 모형임을 알 수 있다.

Precision(정밀도)

• 모델이 Positive로 분류한 것 중 실제값이 Positive인 비율

Recall (재현도)

• 실제값이 Positivie인 것 중 모델이 Positive라 분류한 비율
  ${TP \over TP+FN}$

Referenece

• https://velog.io/@ljs7463
• https://eunsukimme.github.io/ml/2019/10/21/Accuracy-Recall-Precision-F1-score/