[2023 하계 모각코] 팀 "원래는 종경이가 팀장이었다" 3회차 - 계획 및 결과

목표

AI공동경진대회 준비 및 VIS(Video Instance Segmentation) 관련 논문을 읽어보자.

사용 언어

Python

일정

3회차: 7/22 13:00 ~ 16:00

3회차 목표 : GenVIS 논문 리뷰

• 등장 배경
  앞선 선행 연구들은 Online, Offline 다양한 방식으로 VIS Task를 수행해왔다.
  Online : Offline 모델에 비해 성능이 떨어짐, frame 혹은 clip 간 matching association method가 필요
  Offline : 모델에 적용할 수 있는 Video 크기가 제한적임.
  따라서 본 논문에서는 일반적인 환경에서 Video input의 크기 제한을 덜 받는 모델을 제안한다.

• 핵심 기술

  • clip과 clip 사이의 관계 학습
  • new learning criterion 및 Unified Video Label Assignment(UVLA) 제안
  • memory mechanism 적용

• 모델 구조
  

• 결과

  • Datasets : YouTube-VIS 2019, 2021, 2022, OVIS

• 한계점

  • Window size를 조정할 수 없다.

  • 고유 ID를 할당하므로 한 Frame에 매우 많은 object가 있을 경우는 처리 할 수 없다.

    ---