합성곱 신경망(Convolutional Neural Network CNN)의 모델 성능 평가는 mAP를 이용하여 평가한다.
mAP는 AP(Average Precision)의 평균이고, AP는 Precision의 평균이다.
precision부터 알아야한다.
Precision-Recall
IoU (Intersection over Union)
bounding box가 맞는지 틀린지를 결정하기 위해 나온 것이 IoU이다.
predict bounding box와 ground truth의 bounding box간 중첩되는 부분의 면적을 측정해서 중첩된 면적을 합집합의 면적으로 나눠준다.
즉, 모델이 검출한 bounding box가 ground truth box와 얼마나 겹치는지를 나타내는 지표가 된다. 특정 threshold 값을 넘긴 predict bounding box에 대해서 TP로 판단한다.
Precision
Precision은 정밀도를 의미하며, 검출 결과들 중 옳게 검출한 비율을 의미한다.
Recall
Recall은 재현율을 의미하며, 실제 옳게 검출된 결과물 중에서 옳다고 예측한 것의 비율을 의미한다.
(참고) F1 score
Precision-Recall Curve
Precision과 Recall은 서로 반비례 관계를 가진다. (trade-off)
PR곡선에서는 recall값의 변화에 따른 precision값을 확인할 수 있다.
AP(Average Precision)
precision-recall 그래프는 어떤 알고리즘의 성능을 전반적으로 파악하기에는 좋으나 서로 다른 두 알고리즘의 성능을 정량적(quantitatively) 비교하기에는 불편한 점이 있다.
그래서 나온 개념이 Average precision이다. 그래프 선 아래쪽의 면적으로 계산된다. Average precision이 높으면 높을수록 그 알고리즘의 성능이 전체적으로 우수하다는 의미이다.
mAP
object detection task에서는 강아지, 고양이, 자동차, 비행기 등 탐지하고자 하는 물체(class)가 다양하다.
mAP란 각 class별 AP의 평균을 나타낸 값으로 모델의 정확도를 측정하는 평가 지표가 된다.
