Signed Distance Fields(SDF)

Concept

Signed distance field는 다각형 모델(polygonal model)로 표현된 객체의 가장 가까운 거리를 격자 샘플링(grid sampling)으로 나타내는 것이다. 일반적으로, 객체 내부는 음수, 외부는 양수로 표현한다. 컴퓨터 그래픽스 분야에서는 매우 핫한 이슈로, 컴퓨터 그래픽스, 3D 모델링 및 관련 분야에서 널리 사용되고 있다. 예를 들면, 충돌 감지(collision detection), multi-body dynamics(다중 본체 동역학), 변형 가능한 물체(deformable objects), 메쉬 생성(mesh generation), motion planning(동작 계획), sculpting(조각)에 활용한다.

그러나, 견고하고 빠르게 SDF를 계산하다보면 성능 병목현상이나 입력 메쉬가 변질되어 작업의 한계가 올 수 있다. CPU에서보다 GPU를 활용하여 계산하는 것이 시간측면에서 효율적이다. GPU를 활용할 경우에는 distance mesing 또는 scan conversion 방법을 적용할 수 있다. 딥러닝 모델 등을 활용하면 이전보다 효과적으로 SDF를 생성하고 활용할 수 있다.

Occupancy Networks

Lars Mescheder, et al, Occupancy Networks: Learning 3D Reconstruction in Function Space, 2018.

Occupancy Networks는 3D 형상 재구성 및 생성을 위한 딥러닝 기술이다. 3D 객체의 형태와 구조를 파악하는 데 사용한다. 이 모델은 3D 공간을 채우는 객체의 implicit surface의 "점유(occupancy)" 여부를 예측하여 확률로 출력한다.

• 확률 기반 접근: 점 별로 해당 점이 객체 내에 있는지 여부를 확률로 예측하므로, 다양한 형태의 객체를 더 효과적으로 복원
• 노이즈와 불확실성에 강건함: 노이즈가 있는 입력 데이터과 불확실성이 다양한 환경에서 적용 가능
• 임의의 topology에 대한 고해상도 표현

Model

• every possible 3D point $p ∈ \mathbb{R}^3$,
  Occupacy representation:
  

• The probability of occupancy :
  

Training

• Evaluation of mini-batch loss $\mathbb{L_B}$ at those locations :
  

• encoder network $g_ψ(·)$,
  locations $p_{ij}$, occupancies $o_{ij}$,
  predicts mean $µ_ψ$, standard deviation $σ_ψ$,
  Gaussian distribution $q_ψ(z|{(p_{ij}, o_{ij})}_{j=1:K})$ ,
  latent $z ∈ \mathbb{R}^L$,
  Optimization to lower bound to the negative log-likelihood of the generative model
  $p((o_{ij})_{j=1:K}|(p_{ij})_{j=1:K})$:

IsoSurface Extraction

• Marching Cubes algorithm
  
• simplify the mesh(Marching Cubes algorithm) using the Fast-Quadric-Mesh-Simplification algorithm
  

Results

3D 복원 결과 Voxel, Poin, Mesh를 이용한 것보다 Occupancy라는 성질을 활용한 Occupancy Networks의 성능이 우수함을 보여준다.

Reference

[1] Tony Chan, et al, Level Set Based Shape Prior Segmentation, 2005.
[2] Helen Oleynikova, et al, Signed Distance Fields: A Natural Representation for Both Mapping and Planning, 2016.
[3] https://developer.nvidia.com/gpugems/gpugems3/part-v-physics-simulation/chapter-34-signed-distance-fields-using-single-pass-gpu
[4] Lars Mescheder, et al, Occupancy Networks: Learning 3D Reconstruction in Function Space, 2018.