Neural Rendering
1.[Review] NeRF: Representing Scenes as Neural Radiance Fields for View Synthesis 톺아보기
NeRF 는 MLP 를 이용하여 3D scene 을 고전적인 ray casting 방식: density & color 로 표현하는 방법이다. 일반적인 Neural Network 가 generalization 능력을 극대화하는 방향으로 사용되는데 반면, NeRF 는 Ne
2.NeRF 구현 톺아보기 (feat. Camera to World Transformation)
NeRF 의 기본 개념은 간단한 편이지만, 막상 Dataloader 부터 from scratch 로 구현하려고 하면 어려운 부분이 많다. 그중에서도 ray casting 에 필요한 ray direction 과 ray origin 을 어떻게 구하는지 수식과 대응하는 li
3.[Review] Fourier Features Let Networks Learn High-Frequency Functions in Low Dimensional Domains
.png)
https://neurips.cc/virtual/2020/protected/poster_55053683268957697aa39fba6f231c68.htmlNeurIPS2020 Spotlight Paper위 논문은 Fourier-featuring (coordin
4.[Review] PlenOctrees for Real-time Rendering of Neural Radiance Fields
NeRF 등의 neural rendering 기법은 강력한 3D novel view synthesis 성능을 자랑하지만, non-lambertian effect (view-dependent color change) 를 모사하기 위해서 rendering view 가 바뀔
5.[Review] Mip-NeRF: A Multiscale Representation for Anti-Aliasing Neural Radiance Fields
NeRF 의 등장 이후 3D novel-view synthesis 분야는 NeRF's family 의 홍수를 맞이했다. Vanilla NeRF 는 당장 real-world task 로 적용하기에는 여러가지 한계점이 있으며, (e.g, Slow convergence &
6.Instant-NGP 리뷰 및 구현 (Multi-Resolution Hash Encoding)
NeRF 는 그 강력한 성능에 비해 너무나 느린 Training, Rendering 속도 등 여러가지 단점이 있다. 이를 해결하기 위해 Voxel 을 활용하는 연구들이 제시되었지만 속도 향상이 제한적이거나, 성능과의 trade-off 를 겪는 문제점을 보여주었다. Instant-NGP 는 Multi-resolution decomposition 과 Hashi...
7.Sora가 상상하는 3D World (From Sora to Radiance Fields)
최근 OpenAI 에서 발표된 Video Generation AI Sora 의 결과 동영상을 이용해 Neural Rendering (NeRF/3D Gaussian Splatting) 으로 3D reconstruction 을 진행해보고, 이에 대한 고찰을 몇 개 남긴다.
8.NeRF의 실용성에 대한 단상
NeRF 나 3D GS로 만든 object 가 게임이나 VR 등 실제 3D contents 로 소비되기 위해서 넘어야 할 장애물과 현 상황에 대해 공유한다.
9.Diffusion 으로 추정한 Depth Map 을 이용해 Textured Mesh 만들어보기 (feat. Marigold)
1. 들어가며 2D Diffusion 의 성공 이후로, Diffusion Model 의 막강한 성능에 힘입어 depth, normal map 등의 geometric information 을 diffusion 으로 추론하려는 연구가 이어지고 있다. 1. Marigol
10.Radiance Fields 의 view-direction encoding 은 왜 Spherical Harmonics 을 사용할까?
이 글은 NeRF, Plenoctrees, Instant-NGP 등의 Neural Rendering 기술들에 대해 익숙하다는 가정 하에 쓰여졌습니다.또한 글의 이해를 위해 ‘Fourier Features Let Networks Learn High-Frequency Fu
11.SDF (Signed Distance Function) 와 Eikonal Equation 의 관계는?
1. 들어가며 figure: Neuralangelo 블로그에서는 잘 다루지 않았지만, Implicit Neural Network 가 주요 task 로 다루는 것은 NeRF 를 위시한 Novel View Synthesis 뿐만이 아니다. Signed Distance
12.[Review] 2D Gaussian Splatting for Geometrically Accurate Radiance Fields (+ Viewer 구현)
실사용이 가능한 수준의 mesh export 가 가능한 2D Gaussian Splatting for Geometrically Accurate Radiance Fields 를 리뷰해보자!
13.Custom Neural Rendering Viewer 개발기
들어가며 최근 2D Gaussian Splatting 에 대한 remote viewer 를 side project 로 작업하여 github 에 배포하였다. 처음 작업해본 side project 라 걱정이 많았지만, 나름 star 도 많이 수집하고, official
14.잃어버린 3D Gaussian Splatting 의 Densification Strategy 를 찾아서... (feat. 3DGS-MCMC, AbsGS and TrimGS)
1. 들어가며 >Recap. 3D Gaussian Splatting 의 학습 전략 Blog 에서 직접적으로 다룬 적은 없지만, 3D Gaussian Splatting 의 괄목할만한 성장과 View Synthesis 성능에는 적절한 학습 전략에 기인하는 바도 크다.
15.3D Gaussian Splatting 완벽 분석 (feat. CUDA Rasterizer)
3D Gaussian Splatting 을 완벽하게 이해해보자!
16.[Review] 3D Gaussian Ray Tracing
NVIDIA 에서 최근 발표한 3D Gaussian Ray Tracing 을 리뷰해보자!
17.Gaussian Splatting 학습이 빨라졌다고요?
2024년 하반기엔 공적으로는 사내 데모와 연구 논문 작업 등, 사적으로는 기초군사훈련 등 바쁜 일이 많아 블로그를 잠시 방치하고 있었다. 훈련 수료 후 블로그 복귀를 위해 적절한 아이템이 없나 찾아보던 중, original 3D GS repo 에서 diff-gauss
18.Neural Rendering beyond Photography
Photography 가 아닌 domain 에서 Neural Rendering 을 적용하기 위해선 어떤 사항들을 고려해야하는지 생각해보자! reference: SAX-NERF Plus, tip for: Viewer 가 없는 Neural Rendering techniq
19.NVIDIA RTX 50 시리즈에 적용될 Neural Rendering 기술 추측해보기
1. Introduction RTX50 시리즈 발매가 얼마 남지 않은 요즈음, NVIDIA 측에선 차세대 RTX 시리즈에 적용될 신기술을 연이어 발표하며 기대를 모으고 있다. 바로 오늘, 2025년 1월 7일, NVIDIA 측에서 Developer Blog 와 Yo