Tracking이란?

• 비디오 영상에서 특정 대상의 위치 변화를 추적하는 것
• 영상에서 특징점을 추출하여 비디오 - 일련의 영상 프레임으로 구성
  -> 인접한 영상 프레임들 사이에서는 시공간적 유사성이 존재
  ex) 영상 내 대상의 위치, 크기, 형태의 유사성
  -> 이러한 유사성을 이용해 특정 대상의 위치 변화 추적

Tracking - ORB

• 영상에서 특징점을 추출하여 Key frame을 생성하고 카메라의 위치(Camera Pose)를 추정하는 과정
• Key frame?
  유의미한 특징점을 많이 가지는 frame
  즉, 지도를 만드는데 사용될 중요한 정보를 담고 있는 frame

Tracking의 구조

Pre-process Input

Input 영상 전처리 과정
ORB Feature descriptor 이용하여 영상 내 특징점 검출

• Why ORB?

1. Feature 검출에 프레임 당 33ms보다 빠른 시간이 요구됨
   -> ORB: 계산과 매칭이 빠름
2. Place recognition 수행을 위해 rotation invariance가 요구됨
   ORB: view point의 변화가 적음

Pose Prediction(Motion Model) or Relocalization

Pose Prediction (=Estimation)
카메라의 위치를 추정하는 단계

• 두가지 상황에 다른 접근법 이용
  • Tracking이 잘 되는 경우
    • 이전 frame을 이용해 현재 frame에 대응하는 카메라 위치 추정
  • 과정
    • Constant velocity motion model(등속도 운동 모델) 사용하여 카메라 위치 추정
    • guided search 수행
    • Pose optimization
  • Tracking이 lost된 경우 (Global relocalization)
    • Bag of words와 Place recognition 모듈 이용하여 global relocalization 수행 -> tracking 회복
    • solve PnP 이용하여 카메라 위치 추정
    • guided search 수행
    • Pose optimization

Track Local Map

• 더 많은 map point 대응 쌍을 찾기 위해 local map을 frame에 투영하여 Pose optimization 수행

New key frame decision

• 현재 frame이 keyframe이 되기 위한 기준에 부합하는지 확인하는 단계

  • 조건 만족시, 새로운 keyframe으로 추가

• Key frame 기준
  - 마지막 global relocalization 후, 최소 20 frame 이후의 frame
  - Local mapping 수행이 적합하거나 마지막 keyframe 추가 후 20 frame 이후의 frame
  - 현재 frame이 최소 50개 이상의 특징점을 track
  - 현재 frame이 reference keyframe의 90% 이하의 특징점을 track
  위 네가지 조건 모두 충족시 keyframe으로 결정

• Reference
  https://www.youtube.com/watch?v=7yH9sQx4trI&list=PLoJdZ7VvEiRNUxlIXlgy7Fh8ziyt4Hw50&index=5