mIoU
Segmentation Task에서 사용하는 Metric이다.
IoU
IoU에 대한 정의는 아래와 같다.
한 장의 이미지에 대해 성능을 평가하고 싶다면 IoU 값을 계산하면 되고 여러 장의 이미지에 대해 성능을 평가하고 싶다면 IoU들의 평균을 내서 사용한다.
Sample IoU Scores
mAP
Detection에서 사용하는 Metric이다.
AP
AP는 Average Precision의 약자이다. 이 개념은 예를 들어 설명하면 쉽다.
우리가 가진 데이터 셋에 총 5개의 사과가 있고 이를 맞춰야 하는 상황이다.
모델은 열 번의 예측을 했고 confidence score를 기준으로 내림차순하여 맞췄는지 판단한다.
맞고 안맞고를 정하는 기준은 일반적으로 IoU이다.
위 그림에서 Precision은 우리가 예측한 것들 중에서 맞은 것의 비율이다.
따라서 Rank 3행을 보면 총 3번 예측했는데 여태까지 맞춘것이 2개이므로 Precision은 0.67이다.
Recall은 정답들 중에서 우리가 맞춘것의 비율이다.
따라서 Rank3 행을 보면 정답은 정답은 총 5개인데 두개 맞췄으므로 0.4이다. 마찬가리고 rank6 행에서는 5개중 3개 맞췄으니 0.6이다.
Precision과 recall을 그래프로 표현한 것을 PR 커브라고 하며 이 그래프의 아래면적의 넓이가 mAP이다.
F1 score
F1 score는 precision과 reacall의 조화평균이다.
가중평균(weighted average)이라고 하는 사람도 있다.
조화평균으로 계산하는 이유는 precision과 reacall이 0에 가까울수록 F1 score도 동일하게 낮은 값을 갖도록 하기 위함이다.
예를들어 recall=1, precision=0.01 일 때 단순히 평균을 구하면 0.505가 되지만 조화평균으로 구하면 0.019로 매우 낮게 계산된다.
F1 score에서 고득점을 하기 위해서는 precision과 recall중 어느 하나라도 낮아선 안된다. 따라서 클래스 분포가 고르지 않은 경우 단순히 Accuracy를 계산하는 것보다 유용하다.
Accuracy : 전체 예측값들 중 맞은 것의 비율
Reference
