1. 오분류표
분류 분석 모형의 평가에 일반적으로 사용
목표 변수의 실제 범주와 모형에 의해 예측된 분류 범주 사이의 관계를 나타내는 표
TP(True Positives): 실제값과 예측치 모두 True 인 빈도
TN(True Negatives): 실제값과 예측치 모두 False 인 빈도
FP(False Positives): 실제값은 False 이나 True 로 예측한 빈도
FN(False Negatives): 실제값은 True 이나 False 로 예측한 빈도
2. 오류분류표 활용 모형 평가 지표
(1) 정분류율(accuracy, recognition rate)
전체 관측치중 실제값과 예측치가 일치한 정도
정분류율은 범주의 분포가 균형을 이룰 때 효과적인 평가지표
(2) 오분류율(error rate, misclassification rate)
모형이 제대로 예측하지 못한 관측치를 평가하는 지표
전체 관측치 중 실제값과 예측치가 다른 정도를 나타냄
1-accuracy 또는 다음 식으로 평가
(3) 범주 불균형 문제
대부분의 분류 분석 대상은 소수 집단에 대한 예측 실패의 비용이 다수 집단에
대한 예측 실패의 비용보다 큼
예) 암환자 분류 모형의 경우 암환자는 소수 집단인데 반해 이를 잘못 예측했을
경우의 비용이 다수 집단인 건강한 환자를 잘못 예측한 경우보다 훨씬 큼
범주 불균형 문제(class imbalance problem)를 가지고 있는 데이터에 대한
분류 분석 모형의 평가지표는 중요한 분류 범주만 다루어야 함
3. 평가지표
민감도(sensitivity), 특이도(specificity), 정확도(exactness), 재현율(recall)
민감도: 실제값이 True 인 관측치 중 예측치가 적중한 정도
특이도: 실제값이 False 인 관측치중 예측치가 적중한 정도
정확도: True 로 예측한 관측치 중 실제값이 True 인 정도를 나타냄
재현율: 실제값이 True 인 관측치 중 예측치가 적중한 정도를 나타내는
민감도와 동일한 지표. 모형의 완전성(completeness)를 평가하는 지표
정확도와 재현율은 한 지표의 값이 높아지면 다른 지표의 값이 낮아질 가능성이
높은 관계
이러한 효과를 보정하여 하나의 지표로 나타낸 것 --> F1 지표(F1 score),
Fbeta 지표
F1 지표는 정확도와 재현율의 조화평균. 정확도와 재현율에 같은 가중치를
부여하여 평균
Fbeta 지표에서 beta 는 양수로 beta 값 만큼 재현율에 가중치를 주어 평균
