Classification 논문에서 자주 사용하는 지표 중 Top-1 error와 Top-5 error 가 있습니다(rank-1 error, rank-5 error라고도 합니다).
Image Classifier는 이미지가 주어지면 {고양이, 0.8}, {개, 0.7} 와 같이 class와 confidence score의 결과값을 반환합니다. 이 경우, top-1 class는 가장 score가 높은 {고양이}가 되고, top-2 class는 {고양이, 개}가 됩니다.
Image Classifier가 예측한 클래스, 즉 top-1 class가 실제 class와 같다면 top-1 error는 0%가 됩니다. 또한 confidence score 상위 5개 class안에 실제 class가 들어가 있다면 top-5 error는 0%이 됩니다. 실제 이미지 분류기를 학습할때는 1000개 이상의 class를 가진 dataset으로 학습을 하고 그 안엔 유사한 class들도 존재하므로 top-5 error를 사용하게 되었습니다. 클래스가 1000개 정도되면 top-5 class들은 서로 유사한 class일 가능성이 큽니다. 예를들면 강아지 중에서 생김새가 조금씩 다른 품종일 가능성이 큽니다.
Imagenet 대회에서는 top-5 error 5%이하가 되면 분류를 잘 했다고 볼 수 있습니다. 5%는 사람이 판별했을때의 정확도로도 알려져 있습니다. 연도별 ILSVRC에서의 성능을 살펴보면 2015년 ResNet-152(3.57%), 2016년 ResNeXt-101(3.57%), 2017년 SENet(2.251%) 정도 입니다. 대회에 제출된 ensemble 기법을 적용한 성능이고 single model이나 top-1 error는 더 높습니다.
