Inverse Rendering

Inverse Rendering은 장면의 모양, 재질, 빛 등의 속성 등을 이미지나 오디오에서 복구하는 기법이다. Inverse Rendering을 하는 이유는, 주어진 장면을 과날하고 새로운 이미지나 비디오를 관찰한 속성에 기반해서 생성하기 위해서이다.

Inverse Rendering is the task of recovering the properties of a scene, such as shape, material, and lighting, from an image or a video. The goal of inverse rendering is to determine the properties of a scene given an observation of it, and to generate new images or videos based on these properties.

3D Modeling

• 왼쪽 :
  • 3D shape는 3D Scanner를 이용해서 얻고, Physics-Based Rendering (PBR) 재질(matrerial)은 고성능의 라이트박스 이미지를 통해서 획득한다. images.
• 중앙
  • 멀티뷰(multi-view)로 마스크 이미지(masked image)를 3개의 다른 장면(scens)에서 캡처한다. 이는 실측 환경의(ground-truth environment) 맵(map)을 포함한다.
• 오른쪽 :
  ** 스캔한 메쉬와(mesh)와 복구한 자료를 사용하여 모든 이미지에 대한 카메라 포즈를 Carefully 등록하고, 평가 벤치마킹을 위한 데이터를 준비한다. 이때, Low-poly mesh 카메라를 활용합니다.

Dataset

데이터셋은 Starndford-ORG가 대표적이고, 실세계에서의 3D 객체의 벤치마킹하였다.

아래 그림처럼 렌더링이 되고, 이를 위해서 아래 과정을 거친다.

• Multie-View Captures->
  Chrome Ball Image pairs->
  Environment Maps Reconstrucion
  

Reference
[1] Inverse Rendering, https://paperswithcode.com/task/inverse-rendering
[2] https://stanfordorb.github.io/