ROC커브

ROC커브를 구하기 전에 알아할 지표

• 정확도(Accuracy) : (TP + TN) / 전체
• 재현율,민감도(Recall) : TP / (TP + FN) : TPR
• 정밀도(Precision) : TP / (TP + FP)
• 특이도(Specificity) : TN / (TN + FN)
• FPR : 1 - 특이도
• F1-Score : 2 * ((Precision-Recall) / (Precision+Recall))
  : 정밀도나 재현율이 한쪽으로 치우쳐져 있을때 F1-Score은 떨어지고
  치우치지 않고 잘 되어있으면 F1-Score가 높아진다.

정확도와 정밀도 차이를 예를 들어 설명하자면
사격에서 10점에 가깝게 잘 쏘면 정확도가 높다고 생각할 수 있고,
정밀도는 10점짜리에 여러번 맞지 않더라도 비슷한위치에 여러번 쏘았을때 정밀도가 높다고 표현

Accuracy의 값은 높을수록 좋지만, Recall이 좋으면 좋을때가 있고 Precision이 좋으면 좋을때가 있다.

Model

init Model
train Model
score Model - 원래값과 예측값을 비교하는 모델
evaluate model - Accuracy, Precision, Recall을 비교하는 모델

ROC curve

ROC curve는 모든 분류 임계값에서 분류 모델의 성능을 보여주는 그래프이며, FPR이 변할 때 TPR이 어떻게 변화하는지를 나타내는 곡선이다.

곡선의 밑면적을 AUC라고 부르며 성능 평가에 있어서 수치적인 기준이 될 수 있는 값으로, 1에 가까울수록 그래프가 좌상단에 근접하게 되므로 좋은 모델이라고 할 수 있다