분류기 평가 지표

Accuracy(정확도): True data/ Total data

전체 데이터 중에서 맞게 예측한 것(참이여도 되고 거짓이여도 됨)

Precision(정밀도): True Positive data/ Total Positive data

참으로 예측한 데이터 중에서 실제로 참인 것

Recall(재현율): True positive data/ Total True data

실제 참인 데이터 중에서 예측이 참인 것

F1-Score

Precision과 Recall의 조화평균 
주로 분류 클래스 간 데이터가 심각한 불균형을 이루는 경우 

정확도는 데이터 분류가 균일하지 못하면 머신의 성능을 제대로 나타내줄 수 없기 때문에 F1 사용  

F1 = 2*(Precision*Recall)/(Precision+Recall)

의료 데이터 같은 경우에 음성이 양성보다 훨씬 많기 때문에 ACC를 쓰면 정확도가 매우 높게 나오지만 실제
양성일 확률은 매우 낮음 --> 종합으로 하려면 F1-Score 사용

모든 data 값들이 True Negative --> f1 score 분모가0이라 division 오류

이진 분류기의 성능을 평가하는데 사용되는 AUC 성능지표
이진 분류기(binary classifier) 평가방법
AUC는 area under the ROC(receiver operating characteristic) curve의 약어
==> ROC곡선 아래 부분의 넓이

ROC 곡선 

ROC 곡선 그래프의 y축인 TPR과 x축인 FPR을 구해야함 
TPR = TP/(TP+FN)  전체 양성 샘플 중에 양성으로 예측된 것의 비율 
FPR = FP/(FP+TN)  전체 음성 샘플 중에 양성으로 잘못 예측된 것의 비율 

따라서 TPR은 1에 가까울 수록 좋고, FPR은 0에 가까울 수록 좋다

decision threshold 
	이진 분류기는 0과 1사이의 값을 산출해 낸다. 이 값은 테스트 샘플이 양성일 확률을 나타냄
	이 값이 얼마 이상일 때 양성으로 판정을 내릴지 기준이 필요함--> decision threshold 
	
	보통 0.5 --> 보수적으로 보려면 더 높임 
	
	decision threshold가 0이면 무조건 양성 
	이 값을 0~1로 바꿔가면서 TPR, FPR확률을 얻음
이렇게 얻은 값들을 통해 ROC 곡선을 그리고 넓이를 구함 
AUC가 0.8 이상이면 아주 훌륭한 성능을 가짐
      0.7~0.8 사이라면 좋은 분류기 
      0.5~0.7 soso
      0.5 이하는 bad