🚩딥러닝 기초 - part09. 모델의 성능 분석 (feat. 분류 정확도 계산)

🟢 Introduction

지금까지 학습을 기반으로 모델을 만드는 방법을 학습하였다.

이제 해당 모델이 실제로 잘 작동하는지를 알아봐야하지 않겠는가?

따라서 잘 예측하는지(선형 회귀) 또는 잘 분류하는지(로지스틱 회귀)를 평가하는 기준들에 대해 알아보자.

✅ 정확도

모델이 잘 학습되었는지 어떻게 우리는 평가할 수 있을까? 바로 정확도이다.

정확도를 계산하기 위해 모델에 test data를 넣어 나온 결과를 바탕으로 잘 학습이 되었는지 평가할 수 있다.
하지만 모델을 학습시켰던 data를 test data로 그대로 집어넣는다면, 당연히 해당 데이터로 학습한 모델이므로 100%의 정확도가 나올 것이다.
(이는 A시험문제로 공부한 학생이 실제 시험에서도 똑같은 A시험문제를 치는 것과 동일하다.)

따라서 우리는 test data는, 학습에 사용했던 것과는 다른 sample data를 사용한다.

🎈 참고) test data = vaild data 같은 뜻.

🔠 혼동행렬

혼동 행렬(confusion matrix)이란 오류 경향을 분석한 행렬이다.
이진 문제(T/F)의 분석에 적용되며, 이 또한 모델이 잘 학습되었는지 판단하는 지표가 된다.

혼동행렬에서는 다음과 같은 4가지의 알파벳으로 표현된다. T P N F (티피엔에프가 뭔가 입에 잘 달라붙어서 이렇게 했다.)

T P N F의 의미를 각각 쉽게 알아보자.

• T/F (True, False): 결과의 맞고, 틀림을 결정
  • T : 결과적으로 맞음
  • F : 결과적으로 틀림

• P/N (Postive Negative): 모델이 예측한 값
  • P : 예측기(모델)가 맞다고 함
  • N : 예측기(모델)가 아니라고 함

자 그럼 혼동행렬을 본격적으로 살펴보도록 한다.

• 혼동행렬
  

대충 알겠는가?

• TP : T(결과적으로 맞음), P(예측기(모델)가 맞다고 함) 이런식으로 나뉘게 된다.
• 왼쪽 그림은 참고적으로 보면 되는데,
  actual class는 실제 정답의 영역을 나타내고 predicted class는 예측기가 정답으로 검출한 영역을 나타낸다.

잘 이해가 안된다면 예시를 통해 알아보자.

혼동행렬 예시

예시 ) 합격과 불합격으로 이진분류를 하는 예측기(모델)가 있다고 가정하자.

• 실제로 합격인데, 불합격을 줬다 → 틀렸음(F), 예측기가 불합격을 줌(N) → (FN)
• 실제로 불합격인데 합격을 줬다 → 틀렸음(F), 예측기가 합격을 줌(P) → (FP)
• 실제로 합격인데 합격으로 줬다 → 맞았음(T), 예측기가 합격을 줌(P) → (TP)
• 실제로 불합격인데 불합격으로 줬다 → 맞았음(T), 예측기가 불합격을 줌(N) → (TN)

⁉ 참 긍정률과 거짓 긍정률 (검출)

참긍정률과 거짓 긍정률은 주로 검출에서의 평가 지표로 사용된다. 이들은 모두 혼동행렬을 통해 만들 수 있는 평가 지표이다.

• 혼동행렬

자, 참 긍정률과 거짓 긍정률을 알기위해, 최근 코로나 사태를 통해 이해해보자.

실제로 코로나가 전 세계적으로 확산되며 이러한 검출에서의 평가 지표인 참긍정률과 거짓 긍정률이 정확도 분석의 지표로 많이 사용되었다.

⭕ 참 긍정률(TPR) = 민감도

참 긍정률은 "실제 YES(True)인 값들 중에서 예측한 YES(True)는 얼만큼인가"를 나타낸다.

Q. PCR 검사를 실시했다. 실제 코로나에 걸린 환자들 중 얼마나 코로나 환자로 검출했는가? (참 긍정률)

이를 혼동행렬을 활용해서 나타내려면 어떻게 해야 하는지 감이오는가? 바로 살펴보자.

분모는 실제 코로나 환자들 전체이므로, 실제 감염이된 YES. $n_{11}$ 과 $n_{12}$가 될 것이다.
(코로나가 걸린 것이 true 즉, YES에 해당)

분자는 얼마나 코로나 환자로 검출했는가 이므로, 실제 결과와 검출한 결과가 일치하는 TP 즉, $n_{11}$이 될 것이다.

• 이를 TPR(true positive rate)이라고 한다.
• 참 긍정률은 다른말로 민감도라고 한다.
  

❌ 거짓 긍정률(FPR) = 특이도

Q. PCR 검사를 실시했다. 코로나 환자가 아닌 사람들을 얼마나 코로나 환자로 검출했는가?

바로 나타내 보도록하자.

코로나가 아닌 사람들 즉, 실제 NO인 FP, TN 가 분모가 된다. ( $n_{21}$ 과 $n_{22}$ )
그리고 이들 중 코로나로 검출한 FP( $n_{21}$ )가 분자가 된다.

• 이를 거짓 긍정률 FPR(False positive rate)라고 한다.
• 거짓 긍정률은 다른 말로 특이도라고 한다.
  

참/거짓 긍정률의 예시

🎯 분류에서의 정확도

분류에서의 기준은 정확도 (accuracy)를 통해 나타낸다.
분모는 혼동행렬의 값 전체이고, 분자는 T가 붙은 값들(맞춘 값들)이다.

✔ 정밀도와 재현률 (검색)

검색에서는 약간 다른 평가지표를 사용한다.

🎯 정밀도(Precision)

정밀도 : 모델이 Positive라고 예측한 값들 중 실제 값이 Positive

어떻게 될까?
모델이 P라고 예측하는 경우는 □P와 같은 형식으로 나온다.
따라서 $n_{11}$, $n_{21}$이 분모가 될 것이다.

분자는 실제 positive이므로 $n_{11}$ 이 된다.
따라서 검색에서의 정밀도는 다음과 같다.

• 정밀도

📊 재현률(Recall)

실제 positive중에 맞춘 positive는 얼마나 되는가?

• 🎈 참긍정률 = 민감도 = 재현률 모두 똑같은 값이다.
  어떤 상황(검출, 검색)이 기준인가에 따라서 그저 이름이 달라질 뿐이다.
  

정밀도와 재현률의 관계 (trade off)

다음과 같은 스팸을 분류하는 모델이 있다고 가정하자.

스팸이(positive), 스팸이 아닌 메일이(negative)이다.

임계값이 올라간다면 어떻게 될까?

결과

• 정밀도(Precesion) - 증가
  모델이 Positive라고 예측하는 범위가 더욱 tight하게 줄어들 것이므로, 결과적으로 모델이 Positive라고 생각하는 값(TP, FP)가 줄어든다. 이는 정밀도의 분모가 감소하는 결과이므로 정밀도는 증가한다.
  • 엄밀히 말해 분자(TP)또한 줄어드는 것이지만, 분모는 (TP, FP) 2개가 줄어드는 꼴이다

• 재현률(Precesion)- 감소
  이에 반해 재현률은 "얼마나 잘 재현을 하였는가" 를 뜻한다.
  Positive라고 예측하는 범위가 tight해졌으므로, 모델이 Positive라고 생각하는 값(TP)가 줄어든다. 따라서 분자가 감소하는 것과 같다.
  • 정리하자면 실제 Positive를 얼마나 찾았는가를 나타내는데, 모델이 Positive를 예측하는 범위 자체가 줄어들었으므로 재현률은 감소한다.

임계값이 감소한다면 어떻게 될까?

결과

• 정밀도(Precesion) - 감소
  이 경우 정밀도는 모델이 예측하는 positive의 범위가 넓어졌으므로 즉, 많은 positive를 검출하므로 분모가 커지는 결과를 나타내고 따라서 정밀도는 감소한다.

• 재현률(Precesion)- 증가
  재현률은 그만큼 모델이 넓은 범위의 positive한 예측을 하므로 실제 positive값을 positive라고 예측하는 케이스가 많아진다는 것이다. 이는 즉, 분자에서의 $n_{11}$의 값이 커지는 것을 의미하므로 재현율은 증가한다.

• 정밀도와 재현률의 trade-off 관계
  

🏁 F1 Score

검색에서의 정밀도(precision)와 재현율(recall)을 통해서 조화평균을 구할 수 있다.
이를 F1 Score라 부른다.

💠 ROC curves와 Precision-Recall curves

threshold(임계값)의 영향을 받지 않고, 모델의 분류 성능을 측정하는 방법.

ROC curves & ACU

• 샘플의 개수가 비슷한 경우 사용한다.
• Roc curves아래 있는 면적을 AUC라고 한다.
• 이 값이 클수록 모델이 잘 분류하는 것을 의미한다.
• TPR(참긍정률)가 Y축 FPR(거짓 긍정률)가 X축으로 이루어진다.
  

Precision-Recall curve & AP

• 샘플의 개수가 다른 경우 사용한다.
• Precision-Recall curve의 아래 있는 면적을 AP라고 함.
• 이 값이 클수록 모델이 잘 분류하는 것을 의미한다.
• 정밀도가 Y축 재현률이 X축을 나타낸다.
  

참고 지표 - IOU(Intersection over Union)