Introduction

Single target tracking은 computer vision에서 중요한 task임

target tracking task에서 target에 대한 ground-truth를 받아 subsequent frame에 대한 target의 state를 predict하는 것이 중요 문제이다.

deep learning-based tracker models은 tracking task에 있어서 좋은 성능을 달성

하지만 tracker model은 제한된 training samples로 representation ability를 향상시키는 것은 여전히 어려운 문제임

이러한 관점에서 unlabeled data를 사용해 diversity를 높이는 방법이 있지만 많은 양의 unlabeled data를 labeling하여 사용하는 것은 많은 시간과 비용을 요구함

그래서 제시된 방법중 하나는 large unlabeled set에서 randomly select하여 subset을 labeling 하는 방법이 있지만 이런 randomly selected subset은 전체 데이터셋의 diversity와 representativeness를 반영할 수 있게 충분히 커야함

이러한 단점을 보안하기 위해 active learning을 사용하여 의미 있는 sample를 뽑는 방법이 있음

active learning을 통해 train한 model이 representation ability가 좋음

즉, active learning을 통해 labeling cost를 줄이는 것 뿐만 아니라 model의 representation ability도 향상 시킬 수 있음

1. Deep learning-based tracking methods

Siamese network-based trackers

siameses network 출처

• siamese network는 두 개의 입력 이미지를 받아 weight를 공유하는 두 개의 network에(weight를 공유하기에 한 network라고 봐도 무방) 통과시켜 각각의 임베딩 값을 구해 distance를 계산하여 두 이미지가 같은 클래스면 거리를 가깝게, 다른 클래스에 속한다면 거리를 멀게 siamese network를 학습 시킨다.

• 즉, siamese network-based tracker model은 첫번째 input에는 객체가 포함된 초기 프레임(이미지)를 넣고 두 번째 input에는 후속 프레임(이미지)가 사용되며 이는 시간이 경과함에 따라 변경된 장면을 포함

• 두 이미지 사이의 유사성을 계산하여 후속 이미지 내에서 초기 이미지에 해당하는 객체의 위치를 정확하게 식별할 수 있음

• 이런 tracker model들은 기본적으로 labeled training samples을 크게 의존하기 때문에 active learning method가 효과적이라고 설명

DiMP-Deep CNNs model based tracking

2. Active learning for training samples selection

-active learning method에서 여러 방법론이 있지만 단순히 개별 이미지 샘플을 선택하는 active learning method 대신 multi-frame cooperation을 사용하여 video sequence의 시간적 상관 관계를 고려한 sequence samples를 선택하는 active learning method가 tracking task에 적합하다고 설명

-또한 저자들은 selected sequence smaples의 representativeness를 고려한 후 selected sequence samples를 다시 재정렬 하기 위해 nearest neighbor vertification method를 사용하여 isolated or abnormal traning samples를 효과적으로 제외할 수 있다고 설명

First-frame based selection method

• unlabeled sequence samples의 첫 번째 프레임만 사용하여 distance를 구하고 farthest point sampling(FPS) method를 통해 가장 거리가 먼 sample을 선택하는 method
  
  
• 첫 sample은 ramdom selection
  
  
• 저자들은 first-frame based selection method는 첫 번째 프레임만 사용하다보니 target과 비슷한 background에 더 attention하게 되어 background information에 영향을 받는다는 단점이 있다고 설명
  
  

Multi-frame cooperation-based selection method

• Fist-frame based selection method의 단점을 완화한 방법으로 Multi-frame method는 여러개의 프레임을 사용하여 farthest point sampling(FPS) method를 진행
  
  
• 이때 모든 프레임을 사용하는 것이 아닌 $a$를 통해 사용할 프레임을 정함
  ($i_{1}$, $i_{1+a}$, $i_{1+2a}$, .... )
  
  
• 저자들은 multi-frame method가 first-frame method의 단점을 완화하여 target에 더 attention하게 되지만 poor-quality or isolated samples를 선택해 model의 training에 negative effect를 줄 수 있다고 설명

Neighborhood validation-based re-selection method

• poor-quality or isolated samples를 선별하여 sequence samples를 선택하기 위한 method
  
  

  

• 즉, nearest neighbor 및 average nearest neighbor distance를 통해 isolated samples를 선별

• 저자들은 Multi-frame cooperation-based selection method를 사용함으로써 diversity와 representativeness를 가지는 samples를 선택할 수 있다고 설명

3. Tversky loss for bounding-box estimation

저자들은 IOU loss 대신 Tversky loss를 사용

• Tversky loss는 $α$$|B − B^{gt}|$, $β$$|B^{gt} − B|$ term을 조절해 bounding-box를 학습 시킴

• $|B − B^{gt}|$는 backgroud를 target으로 인식하는 것에 $α$만큼 패널티를 주고 $|B^{gt} − B|$는 실제 target인데 background로 인식하는 것에 $β$만큼 패널티를 줌

• 만약 $α$, $β$가 1이면 IOU loss와 같아짐(overlap을 최대화)

• 즉, Tyversky loss는 model이 좀 더 target에 attention하고 background를 target으로 인식하는 오류를 피하게 control 할 수 있음.

  

• 최종 total loss는 target bounding-box loss와 classification loss의 combination
  

4. Ablation Study

5. State-of-the-art comparison

• ALT : DiMP tracker + ResNet-50 + active learning method(dataset: GOT10k, budget: 2000)

Dataset : OTB100, UAV123, LaSOT, GOT10k, TrackingNet

main contributions

• CNN tracker model에 대해 training sample selection을 위한 새로운 active learning method를 제시

• video sequence 내에서 움직이는 target의 시간적 관계를 고려하여 selected samples의 diversity를 보장하기 위해 multi-frame cooperation active learning method를 제시

• average nearest neighbor distance를 기반한 nearest neighbor discrimination method를 사용하여 isolated samples 선별하고 이를 통해 선택된 traning samples의 representativeness를 보장하여 model의 robustness를 보장

• 저자들이 제시한 ALT tracker는 Tversky loss를 사용하여 bounding box estimation를 향상시켜 좀 더 정확한 target의 state를 얻음