모델 성능 평가 지표

Confision Matrix(혼동행렬)

** 헷갈리지 말아야 할 것: True라고 참 값이 아님! 분류를 잘 했는지의 여부를 나타내는 것.
true: 분류를 잘 한 것/false: 분류를 틀린 것
즉, 실제 positive값은 : True Positive + Flase Negative이 된다.

모델 평가 지표

Accuracy(정확도)

전체 데이터셋 중에 정확하게 예측한 데이터의 수

Accuracy = TP+TN / TP + TN + FP + FN

즉, 분자에 true값이 오는 것(정확한 예측)

Precision(정밀도)

positive라고 판단한 것 중, 진짜 positive의 비율
ex. 스펨메일이라고 분류한 메일 중 진짜 스펨 메일의 비율

Precision = TP / TP + FP

• precision의 한계: 모델이 보수적인 판단을 내리는 경우, 많은 positive 사례들을 놓칠 수 있다. precision 혼자만을 평가 척도로 사용하기에는 한계점이 존재한다.

Accuracy vs Precision

• Accuracy는 과녁을 얼마나 정확하게 맞췄는지를 나타낸다면,
• Precision은, 과녁을 얼마나 '정밀하게' 조준할 수 있는 지를 나타낸다.

Sensitivity민감도(=Recall재현율)

진짜 positive(actual positive)중에서, positive라고 판단한 비율

Sensitivity(Recall) = TP/TP+FN

실제 양성 케이스를 얼마나 '민감하게' 잘 잡아내는 지를 나타낸다.

F1 Score

정밀도와 재현율을 결합하여 만든 지표.
어느 한쪽으로도 치우치지 않는 수치를 나타낼 때 F1 Score는 높은 값을 가지게 된다.
정밀도와 재현율은 상충 관계를 가지기 때문에 이러한 지표를 사용한다.

F1 Score = 2PrecisoinRecall / (Precision+Recall)

• F1 score는 precision과 recall의 조화 평균을 나타낸다.

이 값들은 모두 0~1 사이의 값을 가지며, 1에 가까워질수록 성능이 좋음을 의미한다.

References

링크텍스트