Confusion Matrix와 관련 지표들

1. 혼동행렬(Confusion Matrix)

혼동행렬(Confusion Matrix)은 분류 모델의 성능을 평가하는 데 사용되는 중요한 도구로써, 혼동행렬을 통해 다양한 성능 지표를 계산할 수 있다.
이를 통해 모델의 성능을 다각도로 평가할 수 있으며, 다음과 같은 주요 지표들이 있다.

2. 기본 구성 요소

혼동행렬의 기본 구성 요소는 다음과 같다.

• True Positive (TP): 실제 양성을 양성으로 올바르게 예측
• True Negative (TN): 실제 음성을 음성으로 올바르게 예측
• False Positive (FP): 실제 음성을 양성으로 잘못 예측
• False Negative (FN): 실제 양성을 음성으로 잘못 예측

2.1 주요 성능 지표

정확도 (Accuracy)

정확도는 전체 예측 중 올바르게 예측한 비율을 나타냄.

$Accuracy = \frac{TP + TN}{TP + TN + FP + FN}$

정밀도 (Precision)

정밀도는 양성으로 예측한 것 중 실제 양성인 비율을 나타냄.

$Precision = \frac{TP}{TP + FP}$

재현율 (Recall) 또는 민감도 (Sensitivity)

재현율은 실제 양성 중 양성으로 올바르게 예측한 비율을 나타냄.

$Recall = \frac{TP}{TP + FN}$

특이도 (Specificity)

특이도는 실제 음성 중 음성으로 올바르게 예측한 비율을 나타냄.

$Specificity = \frac{TN}{TN + FP}$

F1 Score

F1 Score는 정밀도와 재현율의 조화평균으로, 두 지표 간의 균형을 나타냄.

$F1 = 2 \times \frac{Precision \times Recall}{Precision + Recall}$

2.2 추가 지표

오류율 (Error Rate)

오류율은 전체 예측 중 잘못 예측한 비율을 나타냄.

$Error Rate = \frac{FP + FN}{TP + TN + FP + FN} = 1 - Accuracy$

위양성률 (False Positive Rate, FPR)

위양성률은 실제 음성 중 양성으로 잘못 예측한 비율을 나타냄.

$FPR = \frac{FP}{FP + TN} = 1 - Specificity$

3. ROC 곡선과 AUC

이미지 출처: https://bioinformaticsandme.tistory.com/328

ROC(Receiver Operating Characteristic) 곡선은 다양한 분류 임계값에서의 TPR(True Positive Rate, 재현율)과 FPR의 관계를 나타내는 그래프이다.

AUC(Area Under the Curve)는 ROC 곡선 아래의 면적을 의미하며, 모델의 전반적인 성능을 나타내는 지표로 사용된다.

위와 같은 다양한 지표들을 종합적으로 고려하여 모델의 성능을 평가하고, 특정 상황에 맞는 최적의 모델을 선택할 수 있다.
예를 들어, 의료 진단과 같이 위험한 결과를 놓치지 않는 것이 중요한 경우에는 재현율에 더 중점을 둘 수 있는데, 왜냐하면 재현율은 실제 양성 중 예측한 것을 측정하는 지표이기 때문이다.