Contribution

• 본 연구에서는 point cloud와 single query image가 주어질 때 camera pose를 추정하고자 한다.
• Rendering을 하여 photometric loss를 활용하는 방식은 ERP의 극 부분에서 나타나는 왜곡을 고려하기 위한 처리가 필요하며 연산량이 많다는 단점이 있다.
  -> "Point cloud를 projection시켜 비교하는 sampling loss를 활용하자"

Methods

• Rendering을 하는 대신 point cloud를 ERP로 projection 했을 때의 좌표와 color를 query image와 비교하는 sampling loss를 활용한다.
• Sampling loss를 활용하기 때문에 연산량을 줄일 수 있으며 왜곡을 처리하기 위한 추가적인 processing이 필요 없다.
  
• Sampling loss는 non-convex하기 때문에 최적의 start point를 찾기 위해 다음과 같은 알고리즘을 거친다.

  • $N_t \times N_r$개의 camera pose에 대해 sampling loss를 구해 loss가 가장 작은 $K_1$개의 candidate를 뽑는다.
  • $K_1$개의 starting points 중 query image와 color distribution이 유사한 $K_2$개의 cadidate를 찾는다.
  • $K_2$개의 starting points로부터 독립적으로 일정 iteration 동안 optimize를 하며 그 중 sampling loss가 가장 작은 camera pose를 찾는다.

Results

Reference

• https://arxiv.org/pdf/2108.06545.pdf