🐥분류 모델 성능 지표 (Accuracy, ROC, AUC, F1-score)

✅ Accuracy (정확도)

정확도는 모델이 전체 예측 중 얼마나 많이 맞췄는지를 나타내는 지표입니다.

• 정의:
  Accuracy = (TP + TN) / (TP + TN + FP + FN)

📚 관련 용어 정리

	(실제) 양성	(실제) 음성
(예측) 양성	TP	FP
(예측) 음성	FN	TN

• TN (True Negative): 실제로 거짓이고 예측도 거짓
• FP (False Positive): 실제로 거짓인데 예측은 참
• FN (False Negative): 실제로 참인데 예측은 거짓
• TP (True Positive): 실제로 참이고 예측도 참

👉맞췄으면 true, 틀렸으면 false / 양성으로 예측했으면 positive, 음성으로 예측했으면 negative

• 민감도 (Sensitivity, TPR, Recall): 실제 양성을 양성으로 예측한 비율, TP / (TP + FN)
• 특이도(Specificity, TNR, True Negative rate): 실제 Negative(음성)을 Negative(음성)이라고 예측하는 비율

• ROC Curve : FPR vs TPR 그래프
  
• FPR (False Positive Rate) = = FP / (FP + TN) = 1-specificity
  -> 실제 음성을 양성으로 예측한 비율
  
  
• AUC : ROC 곡선 아래 면적 (성능 종합 지표)
• F1-Score = 2 (Precision Recall) / (Precision + Recall)
  -> Precision(정밀도)와 Recall(재현율)의 조화평균 값
  -> Precision 또는 Recall 중 하나가 낮으면 F1도 낮아짐

📈 ROC Curve란?

이미지 출처: https://bioinformaticsandme.tistory.com/328

• 가로축 (x축): False Positive Rate (FPR)
• 세로축 (y축): True Positive Rate (TPR)
• 모델의 threshold(임계값) 를 변화시키면서 FPR과 TPR을 그린 곡선
• 좋은 모델일수록 ROC 곡선이 왼쪽 위 모서리에 가까움
  

🌷 AUC란?

이미지 출처: https://angeloyeo.github.io/2020/08/05/ROC.html

AUC(Area Under the ROC Curve)는 ROC Curve 아래 면적을 의미함

🧠 AUC의 해석

AUC 값	의미
1.0	완벽한 분류기 (모든 샘플을 100% 정확하게 분류)
0.9~1.0	매우 좋은 분류기
0.7~0.9	괜찮은 분류기
0.5	무작위 추측과 동일 (랜덤 guessing 수준)
< 0.5	예측이 오히려 반대로 작동 (나쁜 분류기)

예를 들어 AUC = 0.85라는 건,

무작위로 뽑은 양성 샘플이 음성 샘플보다 더 높은 확률로 "양성"이라고 분류될 가능성이 85% 라는 뜻

✅ AUC의 장점

• 클래스 불균형 문제에 상대적으로 강함
• 여러 threshold에 대해 종합적인 분류 성능을 평가할 수 있음
• Precision, Recall, Accuracy만으로는 알기 어려운 모델의 전체적인 분류 능력을 파악할 수 있음