3D Gaussian Splatting 리뷰 (SIGGRAPH 2023)

dusruddl2·2024년 4월 7일
0

https://www.youtube.com/watch?v=wvlgjhrrQZU
https://www.youtube.com/watch?v=Ncs5wOaetYg
본 강의를 듣고 정리


Introduction

제안 배경


nerf와 같은 문제를 풀기 위함

image quality는 지금까지 MipNeRF가 최고,
train time은 Instant-NGP가 최고

  • 3DGS방법은 rendering 속도를 획기적으로 빠르게 만들었음

다른 모델의 입장에서도 보면
MipNeRF는 학습 결과는 좋지만 학습과 렌더링에서 너무 오래걸렸고
Instant-NGP는 학습속도는 빠르지만 퀄리티가 별로였음
여기에 더해 렌더링 속도까지 매우 오래 걸림

가우시안 함수



3차원 가우시안을 이용함
이는 평균을 중심으로 분산만큼 퍼지는 1차 가우시안 함수처럼 3차원에서도 특정 지점에 모여있고 전체적으로 퍼짐

논문 제목 분석

Splatting


Radiance Field


논문 제목에 있는 Radiance Field
NeRF 모델에서는 MLP를 통해 Radiance Field를 다뤘지만 본 논문에서는 MLP를 사용하지 않는다고 생각하면 됨!

Real-time Rendering


Real-time Rendering: 실시간 요구사항에 맞추어 빠른 시간에 재현하는 렌더링 기법


NeRF vs PointCloud vs 3D GS 비교


3D-GS
가우시안 집합으로 표현
point cloud와 같이 discrete하고
NeRF와 다르게 MLP를 사용하지 않기에 explicit한 representation

  • point cloud의 최소단위가 point 한개라면 GS은 최소단위가 Gaussian 1개가 됨
    - 적은 개수의 최소단위로 scene 표현할 수 있음

How Does it make fast?


Overview


SFM Points - point cloud에 해당


R: Gaussian이 얼마나 기울어져 있는지
S: Gaussian의 크기



이 중에 가장 key point인 rasterize에 대한 자세한 설명

..이후에 추가

profile
정리된 글은 https://dusruddl2.tistory.com/로 이동

0개의 댓글

관련 채용 정보