[Point Review] Instant Neural Graphics Primitives with a Multiresolution Hash Encoding

김경준·2022년 3월 14일
0

Point Review

목록 보기
7/26
post-thumbnail

Contribution

NeRF와 같은 모델에서 input을 higher-dimensional space로 보내 compact한 모델로부터 high approximation quality를 추출할 수 있음이 증명되었으나 task specific하며 GPU performance를 제한시킨다.
-> Multiresolution hash encoding을 활용하여 adaptivity와 effciency를 높이자

Methods

  • Hash table을 neural net을 활용하여 학습하는 모델.
  • 하나의 이미지에 대해 multiresolution을 사용하며 각 픽셀값은 hashing function에 의해 TT 이하의 index를 가진다.
  • hashing function h(x)h(x)x1,x2,x3x_1, x_2, x_3x,y,zx,y,z를 의미하며 πi\pi_i는 axis의 독립성을 보장하기 위해 매우 큰 소수를 사용(ex. π1=1,π2=2654435761,π3=805459861\pi_1=1, \pi_2=2654435761,\pi_3=805459861)
  • XOR을 활용한다는데 뭔지 잘 모르겠다..
  • TT개의 index에 대한 FF차원의 featue가 있어 hash table이 구성된다고 생각하면 각 resolution에서 grid 사이에 있는 값들은 interpolation을 통해 구할 수 있다.
  • 이렇게 구한 LL개의 resolution에서의 feature를 전부 concatenation하여 MLP에 통과시키면 RGB를 output으로 추출한다.

Results


짧은 시간 내에 SDF, NRC, NeRF 등의 Task에서 좋은 성능을 보인다.

0개의 댓글