TIL: Evaluation Metrics - From Accuracy & F1 to ROC-AUC, RMSE, MAP, NDCG & BLEU

오늘의 학습목표
- 머신러닝 학습 결과를 평가할 수 있다
- Precision과 Recall의 관계를 이해할 수 있다
- AUC 영역을 통해 모델 간의 퍼포먼스를 비교할 수 있다

0. 들어가며

• 각 머신러닝 문제는 서로 다른 성능평가 척도(evaluation metric)를 가지며 하나의 문제에 대해서도 목적에 따라 여러 가지 척도를 사용할 수 있다
• 머신러닝에는 분류 말고도 회귀, 랭킹, 군집 등 다양한 모델이 존재하며
  딥러닝을 통해 이미지, 텍스트, 음성 등을 다루는 분야에는 또 그에 적합한 성능평가 방식을 별도로 필요로 한다
• 오늘 학습은 분류모델에 대한 성능 평가 척도를 중심으로 진행.

분류 문제에서 데이터 불균형 문제가 있을 수 있어 정확도만으로 모델의 성능을 평가하기에는 충분하지 않다

특히 분류문제가 이런 특징을 보이는 이유는?

• 맞다/틀리다 라는 이분법적인 값이기 때문이다 (이중분류)
  • 그렇다면 분류가 다중분류인 경우에는?
    • 다수결의 법칙이 더 강력해진다. 즉, 답이 범주형이라서 그럼. 평균으로 도망칠수가 없음.

Loss와 Metric

• Loss:
  모델 학습시 train data를 바탕으로 계산되어, 모델의 파라미터 업데이트에 활용되는 함수
• Metric:
  모델 학습 종료 후 test data를 바탕으로 계산되어, 학습된 모델의 성능을 평가하는데 활용되는 함수

왜 Loss와 Metric을 다르게 적용할까?

1. 대부분의 metric 함수는 불연속적이라 미분이 불가능한 형태이다
   그에 반해, 모델 학습에 주로 사용되는 경사하강법 계열의 알고리즘들은 미분 가능한 함수를 필요로 한다
   • 즉 metric을 그대로 사용하면 이 알고리즘들을 적용할 수 없게 되는 문제
2. metric 함수는 그 특성상 값이 크게 변동하는 경향이 있다
   • 모델이 국소 최적점에 빠지거나 발산할 위험이 크다
     제대로된 학습 방해
3. metric을 loss로 사용하면 과적합 문제가 발생할 수 있다
4. 일부 metric은 전체 데이터에 대해서만 계산 가능한 경우가 있다
   • 즉, 미니배치를 사용하는 학습 과정에 적용이 어려울 수 있다
   • 계산 효율 측면에서도 not good
   • Ex. 랭킹기반지표, 전체정확도 등

Accuracy가 학습단게에 좋은 Loss가 될 수 없는 이유

• accuracy는 train set에 대한 정답/오답을 기준으로 측정되기 때문에 앞으로의 학습 방향을 정확하게 제시해주지 못한다
  • Discrete 비연속적인 값을 갖는 accuracy는 continuous한 cross entropy에 비해 파라미터가 학습되어야 할 방향을 정확하게 제시하지 못한다
• 미분이 불가하다

Root Mean Square Error, RMSE

• Loss함수로도 사용되고 회귀모델의 metric으로 사용되기도 한다
• 회귀모델에서 RMSE는 loss와 metric 양쪽으로 효과적으로 사용될 수 있다. 어떻게??
  • MSE와 달리, 실제 단위로 해석이 가능하다
    • MSE는 오차를 제곱하므로 단위도 제곱이 되어 해석이 어렵다
    • RMSE는 계산의 마지막 단계에 제곱근을 씌워 오차를 실제 데이터와 동일한 단위로 변환한다
    • 즉, 모델이 평균적으로 대략 어느 정도의 오차를 내는가 를 직관적으로 파악 가능
    • (Metric의 장점)
  • 오차의 크기를 연속적인 숫자로 나타낸 수치형continuous 데이터이기 때문에 계산과정에서 미분이 가능하다
    • 즉, 경사하강법을 사용하여 오차를 최소화하는 방향으로 모델의 가중치를 학습시킬 수 있다
    • 학습의 진행방향을 정할 수 있다
    • (Loss의 필수조건)
  • 큰 오차에 대한 패널티
    • 오차를 제곱하는 과정이 포함되어 실제값과 예측값의 차이가 클수록 RMSE 값이 기하급수적으로 커진다
    • 이상치에 민감하게 반응하여 큰 오류를 줄이는 방향으로 학습을 유도
    • (Loss의 특징)

Evaluation Metric

Confusion Matrix

• 용어 정리
  • True Positive, TP : 실제 값이 양성인데 모델의 예측값도 양성
  • True Negative, TN
  • False Positive, FP : 실제 값이 음성인데 모델의 예측값이 양성
  • False Negative, FN

Accuracy 정확도

• 전체 표본 중 정확힌 분류된 표본의 수
  즉, 전체 문제 대비 정답 비율

Precision 정밀도

• accuracy를 더 세분화해서 보는 느낌이다
  • precision은 positive에 대해서만 보는것.
  • 그래서, Positive Predictive Value, PPV라고도 한다
    • negative에 대해서 본 거는 NPV (negative predictive value) 이다
• FP가 작을수록 precision이 높아진다

Recall 재현율

• recall은 실제 positive인 모든 것에 대해서 포함해서 보는 정밀도 느낌
  • 실제로 양성인 것들이 얼마나 모델에 의해 정확하게 탐지되었나
• 음성인 것을 양성으로 잘못 규정한 것에 대해서는 관심이 없다
  • 재현율이 높다는 것은 FN이 낮다는 것
    • 즉 모델이 실제 양성을 분류해내지 못한 경우가 적을수록 재현율은 올라간다

F-score

• F-score 에서 recall을 더 중요시하고 싶다면 beta를 1보다 크게 하는 것이 좋다
  • beta 라는 가중치가 분모에서 precision에 곱해져있다
    • 분모가 커지면 f score는 낮아진다
    • beta가 클수록 precision이 낮을 때 분모가 커지는 속도보다 recall이 낮을 때 분모가 커지는 속도가 훨씬 빠르다
  • 즉, 모델 입장에서 f score, 점수를 높이려면 beta라는 큰 패널티가 붙은 precision보다 recall을 높게 유지하는 것이 점수 방어에 유리하다
  • beta라는 패널티가 precision에 붙어 있어서

앞서 본 precision과 recall은 단독으로 평가 척도로 사용하기에 부족한 면이 있다

• 왜 그런지 알아보자
  1. precision이 좋은 척도가 될만 한 스팸메일 분류기 모델
  • precision이 좋은 척도가 되는 이유: FN이 다소 허용되어도 문제가 없다
  • 스팸메일의 특성상 FP가 발생할 경우에는 엄청난 손실이 발생하게된다
    • FP를 줄여야 한다
      애매한 메일을 음성으로 판단한다
    • 위의 목표를 위해 FN을 무한히 허용하게 되면 스팸 메일 분류기 자체가 쓸모없어진다 (이 경우 recall이 낮음)
  2. recall이 좋은 척도가 될만 한 암환자 예측 모델
  • 암 의심환자를 음성으로 분류했다가 환자의 생명을 위험에 빠뜨리면 안된다
  • FN을 최소화한다 (recall이 좋은 척도가 되는 이유)
    • recall을 최대화하기 위해 모든 환자를 양성으로 진단한다면?
    • recall은 1이 되지만 이런 예측 모델 또한 쓸모가 없다
      (FN은 발생하지 않지만 FP가 많아짐. precision이 낮음)
• 즉, precision과 recursive를 둘다 고려해야 한다

F1 Score

• F score에서 beta가 1이 될 때를 말함
• precision과 recall의 조화평균이 되는 값으로서,
  precision과 recall 둘 다 고려할 수 있어 분류 모델의 훌륭한 척도가 된다

Threshold의 변화에 따른 모델 성능

• 분류 모델은 기준선(threshold)를 넘어가면 특정 카테고리에 분류한다

  • 즉, 모델의 출력을 해석하는 방식(threshold)만 다르게 해도 모델은 전혀 다른 성능을 가지게 된다
  • threshold 변화에 따라 모델의 성능 척도 값(모델의 성능)이 달라진다

• 그렇다면, threshold의 변화에 영향을 받지 않는 모델 평가 방법이 없을까?

  	Threshold가 달라지는 것을 고려하여 전체적인 모델의 성능을 평가하는 방법으로 PR(Precision and Recall) 커브와 ROC(Receiver Operating Characteristic) 커브를 그려보는 두가지 방법이 있다

Precision-Recall 커브

• PR커브는 Recall을 x축, Precision을 y축에 놓고 threshold 변화에 따른 두 값의 변화를 그래프로 그린 것이다
• Area Under Curve, AUC
  • PR커브 아래쪽 면적을 계산한 값
  • PR AUC 계산하기
    sklearn 라이브러리의 average_precision_score함수를 사용해 계산
    • n을 무한히 크게 한다면 아주 작은 Recall 구간에 대해 Pn값을 적분하는 것과 같다
    • 즉, PR 커브의 아래쪽 면적인 PR AUC와 같은 의미라고 볼 수 있음
      (사이킷런 문서에는 average_precision_score와 PR AUC가 구현측면에서 살짝 다르다고 기술되어 있어 두 개념이 의미적으로 비슷하게 사용된다고만 이해하는게 좋음)

ROC 커브

Receiver Opreating Characteristic Curve

• 수식자 조작 특성 곡선이다 (x축: FP rate, y축: TP rate)
  • 여기서 A = 0.95는 모델의 성능을 표시한 것이다
    뒤에 나오겠지만 ROC AUC를 기반으로 계산됨
• 앞서 살펴 본 Confusion Matrix 수치를 활용해 분류기의 분류 능력을 그래프로 표현한 방법이다
  • PR커브와 마찬가지로 분류기의 threshold 값의 변화에 따라 Confusion Matrix에 생기는 변화로 인해 그려지는 것이다
• TPR과 FPR 계산 방식
  • TPR = Recall
  • FPR = negative에 대한 Recall
• ROC AUC
  • 위에 봤던 AUC인데, ROC 그래프에 대한 AUC를 의미
  • 위에서 따로 언급을 안했는데,
    AUC 영역의 넓이가 넓은 모델일수록 좋은 성능을 가진 모델이라 생각하면 된다
  • 코드실습:
    사이킷런 라이브러리의 roc_curce, auc함수를 사용할 수 있다

AUC 영역의 넓이와 모델 성능

1. Precision과 Recall이 전부 1이 되는 완벽한 모델이라면 ROC 커브에는 어디에 점이 찍힐까?

• (0,1) 이다
  • 양성과 음성에 대한 Recall이 모두 1이 되므로,
    TPR은 1, FPR은 0

2. 극단적인 경우를 생각해보자
   • 모든 샘플에 대해 양성이라고 분류하는 모델
     (1,1)에 찍힌다
   • 모든 샘플에 대해 음성이라고 분류하는 모델
     (0,0)
3. (0,0)과 (1,1)을 이은 선보다 roc 커브가 위쪽에 존재하고 (0,1)에 가깝게 그려질수록 우수한 분류기가 된다

• 그러므로, ROC AUC가 클수록 상대적으로 좋은 성능의 모델이라고 할 수 있다

다양한 머신러닝 모델의 평가척도

• 지금까지 살펴본 분류 문제에 있어 문제의 성격, 분류 기준 등 다양한 변수에 따라 정확한 모델 편가 척도는 달라질 수 있어 다소 복잡했을 것이다
  • 하지만 머신러닝에는 분류 뿐 아니라 회귀, 추천, 군집 등 다양한 모델이 있다
  • 음성, 이미지, 텍스트 등의 생성형 모델들이 가지는 독특한 평가 척도들도 매우 다양하다
• 그래서, 이번 파트에서는 다양한 머신러닝 모델의 평가척도를 가볍게 알아보자

회귀 모델의 평가척도

• 회귀모델은 분류 모델에 비해 평가척도를 다루는 것이 간단하다
  • loss함수가 테스트셋에 적용될 때 그대로 Metric이 되는 경우가 대부분
• 회귀모델은 어떤 loss가 적합한지 그 특성을 알아보는 것이 중요하다

MSE, RMSE (square계열)

• Mean Squared Error, MSE
  • 예측값과 실제값의 차이를 제곱한 후, 평균을 낸 것
  • 오차를 제곱하기 때문에 큰 오차가 작은 오차보다 더 큰 영향을 미친다
  • 이상치에 더 민감하게 반응한다
  • 앞에서 RMSE의 메트릭으로서의 장점을 설명하며 MSE를
    언급했듯이 MSE는 실제 단위와 달라 직관적인 해석은 어렵다
    • 그래서 절대적인 오차의 크기보다는 모델 간 성능 비교나 학습과정에서 오차가 줄어드는지를 확인하는 상대적 지표로서의 가치가 높다
• Root Mean Squared Error, RMSE
  • MSE에 제곱근을 취한 것
  • MSE와 마찬가지로 이상치에 민감하게 반응하지만 MSE보다는 오차의 크기가 작다
  • 위에서도 한 번 다뤘지만, RMSE는 오차의 단위와 동일한 단위를 가지므로 해석이 더 직관적이다

MAE, MAPE (absolute value계열)

• Mean Absolute Error, MAE
  • 예측값과 실제값의 절대 차이를 평균한 것
    
  • 오차의 절대값을 평균하므로, 모든 오차를 동등하게 처리한다
    즉, 작은 오차와 큰 오차가 동일한 가중치를 갖게됨
  • 이상치에 상대적으로 덜 민감하다
  • RMSE와 마찬가지로 오차의 단위와 동일해서 해석이 직관적이다
• Mean Absolute Percentage Error, MAPE
  • MAE를 실제값에 대한 비율로 나타낸 지표이다
    • $y_i$ 분모가 0이 되면 값이 정의되지 않거나 무한대가 되므로 실제값에 0이 포함된 데이터에는 사용 불가하다
  • 과소평가에 유리한 비대칭성
    • 실제 값이 50인데 100으로 예측한 경우 (과대평가)
      MAPE는 100%
    • 실제값이 150인데 100으로 예측한 경우 (과소평가)
      MAPE는 33.3%
    • 두 경우 모두 오차는 50인데 MAPE값은 다르다
  • 순수 비율로 나타내기 때문에 모델 간의 성능을 한눈에 비교를 하기 좋다
    • 비대칭성이란 문제가 있음에도 협업 부서와 소통의 편의, 비즈니스 현장의 언어로서 가치를 가지고 많이 사용됨
    • 예를 들어, MAE가 4.5입니다 라고 하는 것보다 오차율(MAPE)이 5%입니다

랭킹 모델의 평가척도

• 추천시스템은 넓게 보면 정보 검색과 같은 로직을 갖는다
  • 이런 모델들이 일반적인 분류모델과 다른 점은 랭킹(우선순위)개념이 추가된다는 것이다
  • User를 입력받았을 때 Item들이 추천할만한지에 대한 여부를 분류하는 것 뿐 아니라,
    얼마나 추천하는 지에 대한 랭킹을 매겨야 한다

MAP

Mean Average Precision

• 여러 개의 검색 쿼리에 대한 Average Precision의 평균값
• 검색 시스템의 전반적인 성능을 평가하는 지표
• 계산 방법 (상세)
  • 사용자 A가 선호하는 음악 A, B, C, D 4개가 있다
  • 사용자 A에게 추천된 음악 목록 A, E, B, C, F 5개가 있다
  • MAP@k
    1. 각 목록에 대해 해당 순위까지의 정밀도를 계산한다
       A: 1/1 , E: 1/2 , B: 2/3 , C: 3/4 , F: 3/5
    2. 계산된 정밀도를 모두 더한 후 사용자가 선호하는 음악의 총 개수(4)로 나눠 해당 쿼리의 AP를 구한다
    3. 위의 쿼리 예시를 포함해 모든 쿼리의 AP를 평균 내어 MAP를 계산
    • 쿼리 단위 설명
      사용자별 추천 목록이 쿼리 하나라고 보면 된다
    • 위의 계산 과정에서 k는 5이다
      즉, k는 쿼리의 결과 중 반영할 크기를 결정한다
      (전체 검색 결과 중 상위 몇 개 까지를 평가 대상으로 삼을 것이지 결정하는 범위)
• 장점: 전체 검색 결과의 품질을 종합적으로 평가할 수 있으며 상위 랭킹의 음악 추천에 더 큰 가중치를 준다
• 단점: 계산 과정이 다소 복잡하고 관련 문서가 검색 결과에 없는 경우 해당 쿼리의 AP가 0이 된다

MRR

Mean Reciprocal Rank

• 검색 결과 중 첫 번째로 나타난 관련 문서의 순위에 기반
• 검색 시스템이 관련 문서를 얼마나 빨리 찾아내는지를 평가하는 지표
• 계산 방법 (위의 예시와 동일 상황 가정)
  1. 쿼리에 대해 첫번째 정답 추천결과의 역순위, RR을 구한다
     $RR = \frac{1}{rank}$
     • 쿼리1의 결과: E, A, ... → RR = 1/2
     • 쿼리2의 결과: A, ... → RR = 1/1
  2. 이를 모든 쿼리에 대해 평균을 낸다
• 장점: 간단하고 직관적인 평가 방법으로 검색 결과의 최상위 문서에 중점을 둔다
• 단점: 첫 번째 관련 문서 이후의 랭킹은 고려하지 않으므로 전체 검색 결과의 품질 평가에는 제한적일 수 있다

DCG

Discounted Cumulative Gain

• 검색 결과의 관련성과 순위를 모두 고려하여 검색 품질을 평가
• 계산 방법 (위의 예시와 동일 상황 가정)
  1. 각 추천 결과에 대해 관련성 점수를 부여 (이중평가 or 다중평가)
     • 평가기준은 주관적이다
     • 보통 사람이 나름의 객관적인 기준을 설정
  2. 각 추천 결과의 관련성 점수에 $log_2i$를 나누어 후순위로 추천된 음악의 관련성 점수를 깎아서ㅓ 합산한 DCG를 계산
     • rel이 관련성 점수이다
       (일반적으로 0부터 4까지의 정수로 표현된다고)
• 장점: 관련성과 순위를 모두 고려하여 검색 품질을 평가할 수 있으며 상위 랭킹의 문서에 더 큰 가중치를 부여
• 단점: 서로 다른 쿼리 간 비교가 어려울 수 있으며 절대적인 평가 지표로 사용하기에는 제한
  (NDCG와 마찬가지로 관련성 점수 부여 과정에서 주관성이 개입될 수 있다)

NDCG

Normalized DCG

• DCG를 정규화한 값으로 쿼리 간 비교를 가능하게 한다
• 계산 방법 (위의 DCG의 계산 방식을 이어서 보면 좋다)
  1. IDCG (이상적인 DCG)를 계산한다
     • 관련성 점수가 높은 순으로 추천됐을 때의 DCG를 구하는 것과 같다
  2. NDCG = DCG / IDCG 로 정규화
• 장점: DCG의 장점을 그대로 가지며, 쿼리 간 비교가 가능하다
• 단점: 관련성 점수 부여 과정에서 주관성이 개입될 수 있으며 계산 과정이 상대적으로 복잡

NDCG가 MMR과 MAP에 비해 개선된 점?

• 관련성 점수를 고려하여 관련 정도의 차이를 반영한다
• 정규화를 통해 서로 다른 쿼리 간의 비교가 가능
• 관련성의 다양한 레벨을 지원하여 보다 세밀한 평가가 가능

이미지 생성 모델의 평가척도

• 모델을 평가한다는 것은 정답과 모델의 예측치 사이의 거리를 측정하는 방식이다
  • 그렇다면, 이미지 생성 모델은 어떻게 원본 이미지와 새로운 이미지 사이의 거리를 측정해야 할까?
• RGB 공간 등 두 이미지 사이의 거리를 측정할 수 있는 개념적 공간이 존재한다

MSE

• 위에서 본 MSE와 같은 것이다
• 수식 (이미지의 경우 가로, 세로 픽셀 수를 다루기 때문에 살짝 달라보일 수 있다)
  • m은 가로, n은 세로 픽셀 수
  • I는 원본 이미지, K는 비교 대상 이미지
• 픽셀 단위로 차이를 제곱한 뒤 이를 모두 더하고 평균을 낸 값
• 장점: 픽셀 색상의 정확성에 초점을 맞추어 이미지가 서로 얼마나 '정확히' 일치하는지를 평가
• 단점: 이미지의 구조나 질감 같은 시각적 요소는 잘 평가하지 못한다

PSNR

Peak Signal-to-Noise Ratio

• 주로 신호가 가질 수 있는 최대 가능한 전력과 신호를 손상시키는 잡음의 전력을 비교하는 데 사용
  • 이미지에서 신호는 원본 이미지의 픽셀 값
  • 잡음은 오류 이미지의 픽셀 값과 원본 이미지의 차이
    • 오류 이미지의 예: 압축으로 인한 손실이 있는 이미지
• 특히 이미지 처리에서 이미지 품질이나 손실을 평가하는 데 사용된다
  • 값이 높을수록 원본 이미지에 대한 복원 또는 근사가 더 정확하다는 걸 의미
• MSE의 변형이며 여전히 픽셀별 비교에 중점을 둔다

SSIM

Structural Similarity Index

• 이미지의 구조, 밝기, 대비 등 세 가지 요소를 고려하여 두 이미지 간의 유사성을 평가
  • 인간의 시각 시스템이 이미지를 인식하는 방식을 모방
    단순히 픽셀 값의 차이가 아닌 이미지의 구조적 특성을 비교함으로써 더 인간적인 시각에서 이미지의 유사성을 평가
• MSE나 PSNR과 다르게 이미지의 질감, 구조, 밝기 등이 유사한지를 평가
  • 단순한 색상의 정확도보다는 이미지가 얼마나 '비슷하게 보이는지'에 더 중점을 둔다

MSE와 PSNR 대비 SSIM이 가지는 가장 큰 차이점

• SSIM은 이미지의 구조적인 측면과 인간의 시각적 인식에 더 초점을 맞추어, 이미지의 질적인 측면을 더 잘 평가할 수 있게 해준다

기계번역 모델의 평가척도

• 영어를 한국어로 번역한 문장이 정답 한국어와 얼마나 비슷한지를 어떻게 측정할까?

BLEU

Bilingual Evaluation Understudy 스코어

• 기계 번역 결과와 사람이 번역한 참조 번역 간의 유사도를 측정하는 자동 평가 지표

  • n-gram 일치도를 기반으로 유사도를 계산한다 (0부터 1 사이의 값을 계산)
  • 1에 가까울수록 유사하다는 것을 의미

• N-gram이란?

  • 연속된 n개의 단어 또는 문자를 의미하며 일반적으로 BLEU 스코어에서는 1-gram부터 4-gram 까지 고려한다
  • 예시) 'i love sleeping' 이란 문장에서
    2-gram은 'i love', 'love sleeping' 이다

• 계산 방법

  1. 각 n-gram에 대한 precision을 구한다

     • precision은 기계 번역 결과에서 참조 번역과 일치하는 n-gram의 개수를 해당 n-gram의 총 개수로 나눈 값
     • 위의 문장을 토대로 예시
       기계 번역 결과: i love sleeping
       참조 번역: you love sleeping
       2-gram precision은 1/2

  2. 각 n-gram precision의 기하 평균을 구한다 (기본값)

     • 예전엔 여기까지가 끝이었는데 기계 번역 결과가 참조 번역보다 지나치게 짧은 경우 precision이 높게 나오더라도 번역 품질은 좋지 않은 상황이 발생
     • 그래서 BLEU 스코어에서 이를 보정하기 위해 brevity penalty를 도입

  3. 각 n-gram precision의 기하 평균에 brevity penalty를 곱한다

     • brevity penalty는 $\frac{기계 번역 결과의 길이}{참조 변역의 길이}$의 지수함수로 계산 된다!

     • 기계 번역 결과가 참조 번역보다 짧을수록 패널티가 커진다

• 장점

  • 다양한 언어 쌍과 도메인에 적용 가능하고 사람의 평가와도 어느정도 상관관계를 보인다
  • 기계 번역 시스템 간 성능 비교에 유용하게 활용될 수 있다
    (WMT에서도 주요 평가 지표로 사용)

• 한계점

  • 단순히 n-gram 일치도만 고려하기 때문에 문장의 의미나 문법적 구조를 제대로 반영하지 못한다
  • 참조 번역의 품질과 다양성에 크게 의존
  • 언어의 특성과 도메인에 따라 BLEU 스코어의 상관관계가 다를 수 있다

• 대안 지표들 (이 포스트에서는 키워드만 정리)

  • METEOR, TER, NISH
  • BERT