NeRF(Neural radiance Field) 요약

HeyHo·2022년 5월 25일
0

previous work

 RGB-alpha volume rendering for view synthesis
 1. Soft 3D
 2. Multiplane image methods
 3. Neural Volumes
	+ General rendering model:good for optimization
	- Horrible stoage requirements(1-10GB)
    
Neural nerworks as a continuous shape represen
1. Occupancy Networks
2. DeepSDF
3. Scene Representation Networks
	- Limited rendering model: difficult to optimize
	- Highly compressible (1-10MB)
  • Volume rendering is trivially differential.
  • Optimize with gradient descent on rendering
  • Training network to reproduce all input views of the

2D image without positional encoding
-> from standard fully-connected net, unable to memorize the image.

Positional encoding

  1. Deep network는 lower frequency로 편향되게 learning하는 경향이 있다.

  2. 이를 해결하기 위해 input을 high dimensional space로 보내야 한다. before passing them to the network.

  3. γ(gamma)를 사용하여 R dptj R^2L space로 mapping을 진행.

    -> MLP가 좀 더 손쉽게 higher frequency function을 근사할 수 있도록 입력 좌표를 더 높은 차원 공간에 매핑한다.

-> Gamma 함수가 어떻게 input data를 high dimension으로 보낼 수 있는지 잘 모르겠음...

Hierarchical volume sampling

  1. free space와 occluded region은 rendered image에 대해 contribute하지 못한다.
  2. 따라서 final rendering에 대해 expected effect에 따라 비율적으로 sample들을 allocating한다.
  3. 방법론은 다음과 같다.
    • 'coarse'와 'fine'으로 sampling network를 나눈다.
    • 'coerse' sampling을 진행하고, 해당 sampling에 대해 evaluate진행.
    • Volume에 relevant한 part에 대해 bias하게 sampling 진행 -> how?
      - Weight를 normalizing진행한 다음, 일정한 간격으로 ray를 따라 pdf 생성
      - 생성된 pdf를 바탕으로 inverse transform sampling을 진행하여 N개의 fine network 점들
      sampling 진행.
    • final rendered color를 계산할 때, N_constant + N_fine 전부 사용.
profile
Coputer vision, AI

0개의 댓글