SuperPoint: Self-Supervised Interest Point Detection and Description (CVPRW 2018)

chowy333·2021년 11월 20일
0

Paper read

목록 보기
2/7

Abstract

Homographic Adaptation을 제안하여 multi-scale에 대한 interest point detection을 잘해보겠다. 기존 Homography estimation의 모델의 수준을 능가하였다.

Introduction

Interest point: MVG에서 Image matching에 필요한 point라고 생각하면 된다.

Solution: pseudo-ground truth interest point를 만들어서 학습시키겠다.

앞단에 labeled로 학습 시킨 network를 MagicPoint라 칭함. MagicPoint는 synthetic dataset에 대해 우수한 성능을 보였지만, 다양한 환경에 대해서는 기존 hand-crafted 성능보다 열악했음. 이를 극복하기 위해 Homographic Adaptation을 제안, a multi-scale, multi-transform technique.

이후, feature matching을 위한 descripter도 붙여줌.

Method

SuperPoint Architecture

  • Encoder: VGG-style 모델 구조 사용.
  • Interest Point Decoder: computational cost를 줄이고자한 노력
  • Discriptor Decoder: UCN 모델 차용
  • Loss Function (크게 2가지가 있는데 좀더 이해하고 넘어가기)

Synthetic Pre-Training

  • Magic point는 traditional corner detection approach 보다 noise에 대해 robust했다. 특히 synthetic dataset에 대해서

잘나왔지만, real world에서는 생각보다 잘 나오지 않아 Homography Adaptation을 제안했다.

Homographic Adaptation

  • Homography에 robust한 (geometric consistency) interest point를 찾기 위함 => Psuedo ground truth를 찾는 방법

네트워크 구조 + Homography Adaptation (HA 과정 중에 pseudo label이 만들어짐)

profile
I wanna be a specialist! My previous webpage link https://chowy333.tistory.com/

0개의 댓글