StreamPETR

Abstract

• object queries를 통해 frame 마다 long-term historical information 이 전파됩니다.
• motion aware layer normalization을 이용하여, objects의 움직임을 모델링하였다.

Introduction

• (a) Dense BEV method
  • moving objects를 모델링하기 위해, 큰 receptive field가 필요
  • 그러므로 계산량이 많음
• (b) Perspective Method
  • sparse object queries need to interact with multi-frame image features.
  • 그러므로 계산량이 많음
• (c) Object-Centric Method(제안)
  • sparse object queries를 temporal propagation의 hidden states 로써 사용
  • object-centric temporal modeling
  • streaming video 에서 사용 가능.
  • MLN(Motion aware Layer Normalization)은 암시적으로 자차와 주변 물체들의 움직임을 encoding한다. (different time stamps에서)
  • DETR3D와 같은 알고리즘에도 잘 generalized 된다.