Neural Rendering
1.[Review] NeRF: Representing Scenes as Neural Radiance Fields for View Synthesis 톺아보기
NeRF 는 MLP 를 이용하여 3D scene 을 고전적인 ray casting 방식: density & color 로 표현하는 방법이다. 일반적인 Neural Network 가 generalization 능력을 극대화하는 방향으로 사용되는데 반면, NeRF 는 Ne
2.NeRF 구현 톺아보기 (feat. Camera to World Transformation)
NeRF 의 기본 개념은 간단한 편이지만, 막상 Dataloader 부터 from scratch 로 구현하려고 하면 어려운 부분이 많다. 그중에서도 ray casting 에 필요한 ray direction 과 ray origin 을 어떻게 구하는지 수식과 대응하는 li
3.[Review] Fourier Features Let Networks Learn High-Frequency Functions in Low Dimensional Domains
.png)
https://neurips.cc/virtual/2020/protected/poster_55053683268957697aa39fba6f231c68.htmlNeurIPS2020 Spotlight Paper위 논문은 Fourier-featuring (coordin
4.[Review] PlenOctrees for Real-time Rendering of Neural Radiance Fields
NeRF 등의 neural rendering 기법은 강력한 3D novel view synthesis 성능을 자랑하지만, non-lambertian effect (view-dependent color change) 를 모사하기 위해서 rendering view 가 바뀔
5.[Review] Mip-NeRF: A Multiscale Representation for Anti-Aliasing Neural Radiance Fields
NeRF 의 등장 이후 3D novel-view synthesis 분야는 NeRF's family 의 홍수를 맞이했다. Vanilla NeRF 는 당장 real-world task 로 적용하기에는 여러가지 한계점이 있으며, (e.g, Slow convergence &
6.Instant-NGP 리뷰 및 구현 (Multi-Resolution Hash Encoding)
NeRF 는 그 강력한 성능에 비해 너무나 느린 Training, Rendering 속도 등 여러가지 단점이 있다. 이를 해결하기 위해 Voxel 을 활용하는 연구들이 제시되었지만 속도 향상이 제한적이거나, 성능과의 trade-off 를 겪는 문제점을 보여주었다. Instant-NGP 는 Multi-resolution decomposition 과 Hashi...
7.Sora가 상상하는 3D World (From Sora to Radiance Fields)
최근 OpenAI 에서 발표된 Video Generation AI Sora 의 결과 동영상을 이용해 Neural Rendering (NeRF/3D Gaussian Splatting) 으로 3D reconstruction 을 진행해보고, 이에 대한 고찰을 몇 개 남긴다.
8.NeRF의 실용성에 대한 단상
NeRF 나 3D GS로 만든 object 가 게임이나 VR 등 실제 3D contents 로 소비되기 위해서 넘어야 할 장애물과 현 상황에 대해 공유한다.
9.Diffusion 으로 추정한 Depth Map 을 이용해 Textured Mesh 만들어보기 (feat. Marigold)
1. 들어가며 2D Diffusion 의 성공 이후로, Diffusion Model 의 막강한 성능에 힘입어 depth, normal map 등의 geometric information 을 diffusion 으로 추론하려는 연구가 이어지고 있다. 1. Marigol
10.Radiance Fields 의 view-direction encoding 은 왜 Spherical Harmonics 을 사용할까?
이 글은 NeRF, Plenoctrees, Instant-NGP 등의 Neural Rendering 기술들에 대해 익숙하다는 가정 하에 쓰여졌습니다.또한 글의 이해를 위해 ‘Fourier Features Let Networks Learn High-Frequency Fu
11.SDF (Signed Distance Function) 와 Eikonal Equation 의 관계는?
1. 들어가며 figure: Neuralangelo 블로그에서는 잘 다루지 않았지만, Implicit Neural Network 가 주요 task 로 다루는 것은 NeRF 를 위시한 Novel View Synthesis 뿐만이 아니다. Signed Distance
12.[Review] 2D Gaussian Splatting for Geometrically Accurate Radiance Fields (+ Viewer 구현)
실사용이 가능한 수준의 mesh export 가 가능한 2D Gaussian Splatting for Geometrically Accurate Radiance Fields 를 리뷰해보자!
13.Custom Neural Rendering Viewer 개발기
들어가며 최근 2D Gaussian Splatting 에 대한 remote viewer 를 side project 로 작업하여 github 에 배포하였다. 처음 작업해본 side project 라 걱정이 많았지만, 나름 star 도 많이 수집하고, official
14.잃어버린 3D Gaussian Splatting 의 Densification Strategy 를 찾아서... (feat. 3DGS-MCMC, AbsGS and TrimGS)
1. 들어가며 >Recap. 3D Gaussian Splatting 의 학습 전략 Blog 에서 직접적으로 다룬 적은 없지만, 3D Gaussian Splatting 의 괄목할만한 성장과 View Synthesis 성능에는 적절한 학습 전략에 기인하는 바도 크다.
15.3D Gaussian Splatting 완벽 분석 (feat. CUDA Rasterizer)
3D Gaussian Splatting 을 완벽하게 이해해보자!
16.[Review] 3D Gaussian Ray Tracing
NVIDIA 에서 최근 발표한 3D Gaussian Ray Tracing 을 리뷰해보자!
17.Gaussian Splatting 학습이 빨라졌다고요?
2024년 하반기엔 공적으로는 사내 데모와 연구 논문 작업 등, 사적으로는 기초군사훈련 등 바쁜 일이 많아 블로그를 잠시 방치하고 있었다. 훈련 수료 후 블로그 복귀를 위해 적절한 아이템이 없나 찾아보던 중, original 3D GS repo 에서 diff-gauss