SuperPoint: Self-Supervised Interest Point Detection and Description (CVPRW 2018)

Abstract

Homographic Adaptation을 제안하여 multi-scale에 대한 interest point detection을 잘해보겠다. 기존 Homography estimation의 모델의 수준을 능가하였다.

Introduction

Interest point: MVG에서 Image matching에 필요한 point라고 생각하면 된다.

Solution: pseudo-ground truth interest point를 만들어서 학습시키겠다.

앞단에 labeled로 학습 시킨 network를 MagicPoint라 칭함. MagicPoint는 synthetic dataset에 대해 우수한 성능을 보였지만, 다양한 환경에 대해서는 기존 hand-crafted 성능보다 열악했음. 이를 극복하기 위해 Homographic Adaptation을 제안, a multi-scale, multi-transform technique.

이후, feature matching을 위한 descripter도 붙여줌.

Method

SuperPoint Architecture

• Encoder: VGG-style 모델 구조 사용.

• Interest Point Decoder: computational cost를 줄이고자한 노력

• Discriptor Decoder: UCN 모델 차용

• Loss Function (크게 2가지가 있는데 좀더 이해하고 넘어가기)

Synthetic Pre-Training

• Magic point는 traditional corner detection approach 보다 noise에 대해 robust했다. 특히 synthetic dataset에 대해서

잘나왔지만, real world에서는 생각보다 잘 나오지 않아 Homography Adaptation을 제안했다.

Homographic Adaptation

• Homography에 robust한 (geometric consistency) interest point를 찾기 위함 => Psuedo ground truth를 찾는 방법

네트워크 구조 + Homography Adaptation (HA 과정 중에 pseudo label이 만들어짐)