abstract

• https://arxiv.org/pdf/2206.07846.pdf

• 밀집된 탐지 앵커(densely sampled detection anchors) 사용

  • 각 앵커는 특정 시간과 행동 클래스의 쌍으로 정의됨 (60초 영상이면, 60 * 2hz * 3 class = 360 개 앵커)
    • 1 input feature vector 당, 1 class 당, 1개의 앵커
    • 여기서 앵거는
      • 위 그림의 파란색 빨간색 박스를 의미
      • 아래 그림 왼쪽 아래의 3개의 막대바를 의미 (탐지 신뢰도만 그렸음)
  • 각 앵커에 대해, 탐지 신뢰도 + 시간적 변위가 추론됨

• '타이트 평균-mAP(tight average-mAP)' 성능 지표에서 상당한 개선 (아래 빨간글씨)
  

• 프로세스의 개선:

  • 사전 처리(pre-processing) 및 사후 처리(post-processing) 단계에 작은 변화
  • 또한, 다양한 유형의 입력 기능을 '늦은 융합(late fusion)'을 통해 결합

1. Introduction

1.1. TEMPORALLY PRECISE ACTION SPOTTING IN SOCCER VIDEOS USING DENSE DETECTION ANCHORS

• 이 논문을 발전시켰음
• https://velog.io/@hsbc/TEMPORALLY-PRECISE-ACTION-SPOTTING-IN-SOCCER-VIDEOS-USING-DENSE-DETECTION-ANCHORS

1.2. introduction

• 이전 논문에서 사용한 2개의 feature을 late fusion함
  • "RESNet-152 + PCA" features : 2 fps
  • "Combination": 1 fps
    • 1 fps 를, linear interpolation을 통해 2fps로 변환
    • 이유: 빈도(1fps)가 허용 반경이 0.5초 단위로 증가하는 타이트 평균-mAP 지표를 적절하게 계산하기에는 너무 낮다는 것을 알아냄
• 최종 탐지를 얻기 위해 non-maximum suppression, NMS 단계가 적용

2. Features

2.1. Experimental protocol and model training

• SoccerNet 데이터셋에는 '훈련', '검증', '테스트', '챌린지'라는 네 가지 분할
• 세 가지 프로토콜:
  • 1. test
    • training: '훈련'
    • validation: '검증'
    • test: '테스트'
  • 2. 챌린지 검증
    • training: '훈련' + '테스트'
    • validation: '검증'
    • test: '챌린지'
  • 3. 챌린지
    • training: '훈련', '검증', '테스트'
    • validation: X
    • test: '챌린지'

• 각 모델에 대한 학습률, Sharpness-Aware Minimization(SAM), 가중치 감소, mixup 데이터 증강 등의 하이퍼파라미터들은 검증 세트를 사용하여 조정

Soft non-maximum suppression

• https://velog.io/@hsbc/Non-Maximum-Suppression-NMS-Soft-NMS