1. ROC Curve🔥

Receiver operating characteristic

ROC Curve는 이진 분류기에서 성능을 평가하는 데 자주 사용되는 도구다. 정밀도/재현 커브와 유사하지만, 여기서는 참 양성 비율(TPR)과 거짓 양성 비율(FPR)을 사용하여 그래프를 그린다.

거짓 양성 비율(FPR)은 실제로는 음성인 데이터가 모델에서 양성으로 잘못 예측한 비율을 의미한다. 이 값은 참 음성 비율(TNR)에서 1을 뺀 값과 같다.

TNR-1=FPR

실제로 음성인 데이터들
음성으로 예측 비율 - 1 = 양성으로 예측

이 참 음성 비율(TN)은 특이도(specificity)라고도 불린다.

따라서 ROC Curve는 민감도(재현율) vs (1-특이도)를 그래프로 나타낸다.
곡선 아래 면적(ACU, Area Under the Curve)은 모델의 전체 성능을 나타낸다. ACU 값이 클수록 모델의 성능이 좋다고 판단할 수 있다.

2.ROC Curve vs PR curve 🔥

위의 두 요소는 비슷한 역할을 한다.

일반적으로, 드문 양성 클래스나 거짓 양성에 더 신경 쓰는 경우에는 PR 곡선이 더 유용하다. 반면, 그 외의 경우에는 ROC 곡선이 적합할 수 있다.

ROC 곡선과 ACU이 좋다고 해서 무조건 모델의 성능이 좋다고 볼 수 없다.

양성 샘플이 음성 샘플에 비해 적어서 이런 현상이 발생할 수 있다. ROC 곡선은 클래스 불균형 문제를 제대로 반영하지 못할 수 있다.

PR 곡선은 모델의 성능이 아직 개선될 수 있음을 분명히 보여준다. PR 곡선이 오른쪽 상단 모서리에 가까울수록 모델의 성능이 더 좋다는 것을 의미한다.