Performance Metrics

머신러닝의 성능을 측정하기 위한 다양한 척도가 있는데 다음과 같은 방법들이 있다.

Confusion Matrix 혼동행렬

분류 모델의 성능을 정의하기 위해 사용되는 매트릭스다.

• TP(True Positive) : 암이 있다로 예측한 환자가 실제로 암일 경우
• FP(False Positive) : 암이 있다로 예측한 환자가 암이 없을 경우(Type1 Error)
• FN(False Negative) : 암이 없다로 예측한 환자가 암이 있을 경우(Type2 Error)
• TN(True Negative) : 암이 없다로 예측한 환자가 실제로 암이 없을 경우

=> Type1 Error, Type2 Error는 Trade off 관계이기 때문에 주어진 상황에 따라 두 값을 잘 조정해야함

Precision 정밀도

• '예' 라고 했을 때 실제 '예'일 경우
• 모델이 얼마나 정확한가의 척도

Precision = TP/(TP+FP) = TP/(total predicted positive)

Recall 재현율

• 실제 값중 모델이 실제로 예측한 비율
• 실제 암 환자를 암으로 예측한 확률 => 이와 같은 모델은 암을 재현율이 높은 모델이 올바른 모델이 될 수 있음

Recall = TP/(TP+FN) = TP/(total actual positive)

Accuracy 정확도

• 전체 데이터중 정확하게 예측한 비율

Accuracy = (TP+FN)/(TP+FP+FN+TN) = (# of positive predictions)/(total # of predictions made)

F1 score F1점수

• Precision, Recall 모두 중요할때 둘의 조화평균을 내어 계산해 둘의 밸런스를 알 수 있음

F1-Score = (2*Precision*Recall)/(Precision+Recall)