AP(Average Precision) / Precision / Recall

우리 도메인에서의 목표

• precision이 높으면 좋은 점
  • goal이 아닌데, 하이라이트에 들어가는 경우가 줄어든다.
• Recall이 높으면 좋은 점
  • goal인 장면을 빼먹지 않게 된다.
• Recall이 더 중요함
  • 경기 하이라이트라고 하면 되기 때문.
  • 골이 빠져서는 안됨.

Precision

• (골이라고 예측해서 맞춘 갯수 / 골이라고 예측한 갯수)
• 

Recall (=True Positive Rate)

• (골이라고 예측해서 맞춘 갯수 / 골이라고 예측해서 맞춘 개수 + 골이 아니라고 했는데 골인 개수)
• 골을 놓치지 않고 전부 쓸어 담았는지에 대한 성능!
• 

AP, (Average Precision)

• 
• m: 재현율을 계산할 때 사용되는 임계값(thresholds)의 총 개수입니다. 즉, 모델의 예측 결과를 어떤 기준(예: 확률 점수)에 따라 정렬한 후, 이 기준을 변경해 가면서 재현율과 정밀도를 계산합니다. 이 때, 각기 다른 임계값에서 얻어진 재현율과 정밀도의 쌍을 기반으로 AP를 계산하는데,
  m은 이러한 쌍의 개수, 즉 계산에 사용된 임계값의 총 개수를 의미합니다.

mAP (mean AP)

• mAP는 여러 클래스에 대한 AP값의 평균을 나타내며, 다양한 종류의 객체를 검출해야 하는 복잡한 문제에서 모델의 전반적인 성능을 평가하는 데 적합한 지표

ROC(Receiver Operating Characteristic) Curve

• 가로축: False Positive Rate, FPR
  • 
  • 뜻: 골이라고 예측해서 틀린 확률/ ( (에측 시도 중에, 골이 아닌 갯수) )
  • 뜻: 틀린걸 맞았다고 예측하는 잘못된 능력
• 세로축: True Positive Rate, TPR (Recall)
  • 뜻: 맞는걸 맞다고 잘 예측하는 능력
• 

AUC, (Area Under Curve)

• ROC 곡선 아래 영역(AUC, Area Under Curve)은 모델의 성능을 수치적으로 나타내는 데 사용되며, AUC가 1에 가까울수록 모델의 성능이 좋다고 평가합니다. AUC가 0.5일 경우는 무작위 추측과 같은 성능을 의미