https://www.youtube.com/watch?v=f0GDQSZQPX0
강연을 듣고 정리하는 노트
NeRF 연구분야
요즘에 text to 3D, image to 3D가 떠오르고 있음
+다양한 연구분야에 NeRF가 응용되어 사용됨
3D Reconstruction
SMERF: 에어비앤비에서 사용할 수 있는 기술
Large Scene Reconstruction
드론으로 촬영한 이미지들을 기반으로 생성
Relighting
Scene Editiong
NeRFShop: reconstruction한 후에 옮길 수 있도록
Text to 3D
Image to 3D
Diffusion 모델과 NeRF를 함께 사용해야 이런 모델이 만들어질 수 있음
why?
Diffusion 모델은 프레임마다 카메라 포즈가 다 달라지게 되는데 consistency를 잡기 위해 NeRF가 사용되는 것이다.
기타연구
NeRF
3가지 keyworkd
Positional Encoding
Neural Network
Volume Rendering
문제점)
기존의 NeRF 모델은
한 ray에 대해서 256개의 point를 샘플링하고 MLP에 넣는 것이기 때문에
연산량이 어마어마함
최근 렌더링 속도가 매우 빠른 3D-GS가 등장함!!
속도 개선 연구들의 응용연구들의 backbone으로 사용되기 때문에
2023 3D-GS가 발표된 이후에는 대부분 이것을 사용하는 중이다.
속도 어떻게 개선했는가? (연산속도의 발전)
1. SH-based NeRF
기존 NeRF방법과 달리 NeRF-SH방식은
- input으로 direction 방향정보를 받지 않고
- output으로 RGB color대신에 k값을 뽑는다.
(NeRF-SH)
k를 이용해 color값을 구하고
PlenOctree Contstruction을 이용해서
사물이 있는 곳에 더 모델링 함
rendering 속도가 엄청 빨라진 것을 알 수 있음
쓸모없는 구간에서 샘플링하지 않게 됨으로써 속도 올림
2. Grid-based NeRF
물체 자체를 grid로 구성한 후에
그 ray가 지나는 grid에 있는 값으로 interpolation함
MLP를 제거했는데도 optimization이 잘 발생함
NVIDIA에서 발표한 Instant-NGP
이후에 모든 nerf모델들이 다 이걸 쓰게 됨
plenoxel 모델과 비교하자면 다시 MLP가 생겼지만,
MLP의 layer가 매우 적기 때문에 오히려 수렴 속도 증가함
3. Tensor-based NeRF
Instant-NGP보다 훈련속도도 느리고, 렌더링 속도도 느리지만 사용되는 이유는 메모리 사용량도 적고 volume density와 color값을 구하는 부분을 나눠서 진행하고 있기 때문
최근 eccv best paper에서도 Instant-NGP가 아니라 Tensor-based NeRF사용함
tensor = 차원
2차원 배열은 1차원 배열 2개로 표현할 수 있음 (decomposition)
따라서 차원이 더 커지면 커질수록 메모리를 절약할 수 있는 방법임
면에 대한 tensor와 선에 대한 tensor을 외적하여 3D공간 모델링함
4. 3D Gaussian Splatting
이 전까지는 rendering 속도가 너무 느려서 서비스화까지 고려하지 못했었는데 3D GS가 나온 이후로는 그게 가능하게 됨
+scene을 원하는 크기만큼 잘라서 쓸 수도 있음
가우시안이 모델링하려는 영역보다 클 경우에 쪼갠 후 optimization
