1. Introduction

3D Gaussian Splatting의 효율성을 극대화하기 위해 제안된 Decoupled Feature 3D Gaussian Splatting의 필요성과 핵심 아이디어를 설명하고 있다.

• 기존 연구의 한계:
  최근 3D 비전 분야에서는 Neural Radiance Fields와 3D Gaussian Splatting이 고품질의 새로운 시점 합성 기술로 주목받고 있다. 하지만 이 모델들은 주로 외형과 기하학적 정보만을 포함하고 있어 세그먼테이션이나 언어 기반 편집과 같은 하위 작업을 수행하기 위한 시맨틱 정보가 부족하다는 단점이 있다. 기존의 연구들은 색상 정보와 고차원 시맨틱 특징을 하나의 필드에 통합하여 저장하는데, 이는 수백만 개의 Gaussian에 방대한 데이터를 임베딩하게 되어 저장 공간과 계산 비용이 기하급수적으로 증가하는 문제를 야기한다.

• DF-3DGS의 핵심 제안:

  • 필드 분리
    본 논문은 색상 필드와 시맨틱 필드를 분리하는 Decoupled Feature 구조를 제안한다. 시맨틱 정보는 색상 정보에 비해 고주파 성분이 적기 때문에 훨씬 적은 수의 Gaussian만으로도 충분히 표현 가능하다는 점에 착안하였다. 이를 통해 시맨틱 표현에 필요한 Gaussian의 수를 획기적으로 줄임으로써 전체적인 저장 효율성을 높이고 학습 및 렌더링 속도를 가속화한다.

  • 계층적 압축 전략
    효율성을 더욱 높이기 위해 두 단계의 계층적 압축 방식을 도입하였다. 첫 번째 단계인 Adaptive Data Compression에서는 양자화 기법을 사용하여 장면별로 최적화된 코드북을 동적으로 생성하고 핵심적인 시맨틱 특징을 추출한다. 두 번째 단계인 Semantic Compression에서는 장면 전용 Autoencoder를 학습시켜 고차원 특징을 저차원 잠재 공간으로 매핑함으로써 데이터 크기를 추가로 줄인다.

  • 연구의 성과와 기여
    실험 결과에 따르면 제안된 방법은 기존의 Feature 3DGS 방식과 비교했을 때 학습 시간을 10배 단축하고 저장 공간을 20배 절약하는 성과를 거두었다. 또한 새로운 시점에서의 시맨틱 세그먼테이션 성능을 나타내는 mIoU 지표에서도 4퍼센트 가량의 향상을 보이며 효율성과 정확성을 동시에 확보하였음을 증명하였다.

2. Related Works

2.1. 3D semantic Field

• NeRF 기반 방법론:
  초기에는 Distilled Feature Fields나 Neural Feature Fusion Fields와 같이 2D 파운데이션 모델의 특징을 NeRF에 통합하여 3D 장면의 시맨틱 일관성을 확보하려 했다. DFF는 LSeg나 DINO 특징을 여러 뷰에 걸쳐 NeRF로 증류하여 사용자가 복사 필드 내의 영역을 시맨틱하게 선택하고 편집할 수 있도록 했다. 하지만 NeRF 기반 방식은 볼륨 렌더링의 계산 복잡성으로 인해 렌더링 속도가 느리다는 고질적인 병목 현상이 존재한다.

• 3DGS 기반 시맨틱 필드:
  NeRF의 효율성 문제를 해결하기 위해 3D Gaussian Splatting을 활용한 연구들이 등장했다. Feature 3DGS는 SAM이나 LSeg의 고차원 시맨틱 특징을 3D 가우시안에 통합하는 일반적인 증류 기술을 제안했다. 그러나 수백만 개의 가우시안 각각에 고차원 특징을 저장하면 저장 공간이 너무 많이 필요하고 학습 및 렌더링 효율이 크게 떨어진다. 이를 해결하기 위해 시맨틱 특징의 차원을 줄이는 시도들이 있었으나, 여전히 가우시안의 개수 자체가 많다는 점이 한계로 남았다.

• 색상 필드와의 결합 문제:
  기존의 3DGS 기반 시맨틱 재구성 방식인 LangSplat, FMGS, LEGaussians, CLIP-GS 등은 시맨틱 필드가 색상 필드와 밀접하게 결합되어 있다. 이들은 재구성된 색상 필드 위에서 증류를 수행하거나 각 가우시안이 색상과 시맨틱 특징을 동시에 학습하도록 설계되었다.

• 본 논문의 차별점인 디커플링 전략:
  본 논문에서 제안하는 DF-3DGS는 시맨틱 필드 재구성을 색상 정보로부터 완전히 분리한다. 다중 뷰 이미지의 시맨틱 특징 외에는 색상 정보가 필요하지 않으므로 필요한 가우시안의 수를 획기적으로 줄일 수 있다. 독립적인 시맨틱 필드는 색상 정보가 없더라도 시각적 필드의 가우시안들과 강한 위치적 상관관계를 유지하므로 특정 언어 명령으로 객체를 선택하여 색상을 바꾸거나 제거하는 언어 기반 편집과 같은 후속 작업에서 두 필드를 다시 통합하여 활용할 수 있다.

3. Method

3.1. Decoupled Feature 3D Gaussians

논문에서 제안하는 Decoupled Feature 3D Gaussians 방식은 시맨틱 정보를 색상 정보와 분리하여 처리함으로써 효율성을 극대화한다. 각 수식에 담긴 의미와 파라미터에 대한 상세한 설명은 다음과 같다.

• 기존 3D Gaussian Splatting의 기본 렌더링 식

  $I = R(p, s, q, o, c; p_{cam})$
  • $I$: 렌더링된 최종 이미지 결과물이다.
  • $R$: 미분 가능한 래스터화 함수로, 3D 가우시안들을 2D 평면에 투영하는 역할을 한다.
  • $p, s, q, o$: 각각 가우시안의 중심 위치, 크기, 회전 쿼터니언, 불투명도를 나타내는 기하학적 파라미터이다.
  • $c$: 가우시안의 색상 정보이며 일반적으로 Spherical Harmonics 형태로 저장된다.
  • $p_{cam}$: 렌더링을 수행하는 가상의 카메라 포즈이다.

• 기존의 결합형 시맨틱 필드 방식

  $I, F_r = R(p_1, s_1, q_1, o_1, c', f; p_{cam})$
  • 이 식은 Feature 3DGS와 같은 기존 연구에서 사용하는 방식이다.
  • $F_r$: 렌더링된 시맨틱 특징 맵이다.
  • $p_1, s_1, q_1, o_1$: 이미지와 시맨틱 특징을 동시에 렌더링하기 위해 파라미터를 공유한다.
  • $f$: 가우시안마다 할당된 고차원 시맨틱 특징 벡터이다.
  • 이 방식은 색상을 정밀하게 묘사하기 위해 생성된 수많은 가우시안 모두에 고차원의 $f$를 붙여야 하므로 메모리 낭비가 매우 심하다는 단점이 있다.

• 제안하는 분리형 시맨틱 필드 방식

  $F_r = R(p_2, s_2, q_2, o_2, f'; p_{cam})$
  • DF-3DGS의 핵심은 시맨틱 필드를 색상 필드로부터 완전히 분리하여 독립적인 가우시안 세트를 구성하는 것이다.
  • $p_2, s_2, q_2, o_2$: 시맨틱 구조만을 표현하기 위해 최적화된 가우시안 파라미터이다. 시맨틱 정보는 색상보다 데이터가 단순하므로, 이 가우시안의 개수를 색상 필드보다 훨씬 적게 유지할 수 있다.
  • $f'$: 본 논문에서 제안하는 계층적 압축 기술이 적용된 저차원의 시맨틱 특징 벡터이다.

• 시맨틱 학습을 위한 손실 함수

  $L_f = ||F_l - F_r||_1$
  • $L_f$: 시맨틱 필드를 학습시키기 위한 손실 값이다.
  • $F_l$: LSeg와 같은 2D 사전 학습 모델로부터 추출한 정답지 역할을 하는 시맨틱 특징 맵이다.
  • $F_r$: 현재 가우시안 모델이 렌더링한 시맨틱 특징 맵이다.
  • $||\cdot||_1$: 두 값의 차이의 절대값을 합산하는 L1 손실을 의미하며, 이를 최소화하도록 가우시안의 파라미터들이 업데이트된다. 렌더링된 $F_r$은 $F_l$과 크기를 맞추기 위해 이선형 보간법 과정을 거친 후 계산된다.

이와 같은 수식적 설계를 통해 DF-3DGS는 기존 방식보다 훨씬 적은 수의 가우시안 파라미터만으로도 정밀한 3D 시맨틱 이해를 가능하게 한다.

제시된 이미지는 본 논문에서 제안하는 DF-3DGS의 핵심 아이디어인 색상 필드와 시멘틱 필드의 분리 구조를 시각적으로 설명하고 있다. 기존의 방법들이 하나의 Gaussian에 색상과 고차원 시멘틱 특징을 모두 담으려 했던 것과 달리, 이를 독립적으로 구성함으로써 얻는 이점을 명확히 보여준다.

• 기존의 통합 필드 방식과 한계
  이미지 우측 상단의 Composite Field는 기존의 Feature 3DGS와 같은 방식이 채택하는 구조를 나타낸다. 각 Gaussian은 위치 $p^1$, 스케일 $s^1$, 회전 $q^1$, 불투명도 $o^1$와 같은 기하학적 파라미터뿐만 아니라 색상 $c'$과 시멘틱 특징 $f$를 동시에 학습한다. 이 방식은 약 940,000개의 방대한 Gaussian을 사용하며, 특히 512차원의 고차원 시멘틱 특징을 모든 Gaussian이 저장해야 하므로 시멘틱 저장 공간이 1.79GB에 달하는 등 메모리 효율이 매우 낮다.

• 제안하는 분리형 필드 방식
  중앙의 Decouple 화살표를 통해 나누어지는 아래의 두 구조가 본 논문의 핵심이다.

  • Color Field: 시각적 표현을 담당하며 위치 $p$, 스케일 $s$, 회전 $q$, 불투명도 $o$, 색상 $c$를 파라미터로 갖는다. 약 910,000개의 Gaussian을 사용하며 215MB의 저장 공간을 차지한다.
  • Semantic Field: 시멘틱 정보만을 담당하며 별도의 기하학적 파라미터 $p^2, s^2, q^2, o^2$와 시멘틱 특징 $f'$를 학습한다. 시멘틱 정보는 색상 정보에 비해 고주파 성분이 적기 때문에 훨씬 적은 수인 약 38,000개의 Gaussian만으로도 충분히 표현 가능하다. 그 결과 시멘틱 관련 저장 공간을 통합 방식의 1.79GB에서 단 75MB로 획기적으로 줄였다.

• 분리를 통한 효율성 증대
  두 필드를 분리함으로써 시멘틱 필드 재구성에 필요한 Gaussian의 수를 전체의 5% 미만으로 줄일 수 있었다. 이는 전체적인 학습 시간을 단축시키고 렌더링 속도를 높이는 결과로 이어진다. 비록 두 필드가 독립적으로 학습되지만, 공간적 상관관계가 매우 강하기 때문에 나중에 언어 기반 편집과 같은 다운스트림 태스크에서 두 정보를 다시 통합하여 활용하는 데 문제가 없다.

3.2. Hierarchical Compression

고차원의 세만틱 특징들을 효율적으로 압축하기 위해 양자화 기법을 활용하는 단계다. 이 과정의 핵심은 장면의 복잡도에 따라 스스로 크기가 변하는 코드북을 사용하여 중복되거나 불균형한 데이터를 정리하는 것이다.

• 1단계: 중복된 정보 정리 (Redundancy 해결)

  • 예를 들어 Replica 데이터셋의 사무실 장면을 사용한다고 치자. 사무실을 찍은 2D 이미지 한 장을 모델에 넣으면, LSeg와 같은 2D 사전 학습 모델을 통해 이미지와 똑같은 크기의 특징 맵 $F$가 나온다.
  • 이미지의 각 픽셀 위치마다 그 지점이 무엇인지 설명하는 512차원의 벡터가 들어있다. 예를 들어 책상 다리 부분의 픽셀에는 '나무 재질, 가구, 갈색' 등의 정보가 함축된 숫자들이 들어있게 된다.
  • 이 모든 정보를 다 보관하면 용량만 차지한다. 그래서 이들을 대표하는 가장 전형적인 특징 하나만 평균내어 기록하는 것이 바로 양자화다.

• 2단계: 동적 코드북 생성 (Adaptive Codebook S)

  • 초기화 (Initialization): 첫 번째 사진을 펼친다. 이미지 전체에서 FPS(Farthest Point Sampling) 알고리즘을 사용해 서로 가장 다르게 생긴 특징 8개($\rho=8$)를 뽑는다. 이때 우연히 '의자 등받이'와 '책상 상판'이 선택되었다면, 각각 코드북의 1번($f_1$)과 2번($f_2$) 항목이 된다.

  • 확장 (Expansion): 두 번째 사진으로 넘어간다. 이번에는 구석에 있는 '작은 물병'이 찍혔다. 모델은 이 물병의 특징($f_{raw}$)을 가져와 현재 노트에 있는 1번(의자)과 2번(책상)이랑 비교해본다.

    • 판단 기준: 코사인 유사도를 계산했더니 결과가 0.7이 나왔다. 논문에서 정한 기준치($\alpha=0.9$)보다 낮다. 즉, 기존 노트에 있는 것들과는 너무 다르게 생겼다는 뜻이다.
    • 결과: "이건 새로운 물건이다!"라고 판단하여 코드북 3번($f_3$)에 물병 특징을 새로 적는다. 이렇게 새로운 물건이 나올 때마다 코드북 크기 $K$가 늘어난다.

  • 가지치기 (Pruning): 학습을 계속하다 보니 실수로 4번에 '검은 의자 다리', 1번에 '회색 의자 등받이'를 적었다. 둘을 비교해보니 유사도가 0.995로 기준치($\beta=0.99$)보다 높다.

    • 결과: "둘 다 결국 의자 부품이구나"라고 판단하여 4번을 지우고 1번으로 통합한다. 이 과정을 통해 코드북 $S$는 사무실의 핵심 물건들만 담은 정제된 요약본이 된다.

• 3단계: 특징 매칭

  $t = \text{argmax}_{e \leq K} \cos(f_{raw}, f_e)$

  • 이제 새로운 사진 속의 어떤 물건을 봤을 때, 내 노트의 몇 번 항목과 가장 닮았는지 찾아야 한다.

  • $t = \text{argmax}_{e \leq K} \cos(f_{raw}, f_e)$

  • $f_{raw}$: 지금 보고 있는 사진 속 물건의 특징이다.

  • $f_e$: 내 노트에 적힌 $e$번째 항목들이다.

  • $\cos(\cdot)$: 두 물건이 얼마나 닮았는지 비교하는 척도다.

  • $t$: 가장 닮은 항목 번호다. 예를 들어 사진 속 물건이 침대와 가장 닮았다면 $t=2$가 된다.

  • 작동 방식: 어떤 사진의 특정 픽셀($f_{raw}$)이 '갈색 나무' 특징을 가지고 있다면, 코드북의 1번(의자), 2번(책상), 3번(물병)과 하나씩 대조해본다.

  • 결과: 2번(책상) 항목과 코사인 유사도가 가장 높게 나오면, 해당 픽셀의 인덱스 값($t$)은 2가 된다.

• 4단계: 인덱스 맵 생성 (Feature Index Map M)
  모든 사진을 '번호판'으로 바꾸는 마지막 단계다.

  • 결과물: 원래 512차원의 무거운 숫자로 가득했던 사무실 사진들이, 이제는 1, 2, 3 같은 정수형 번호들로만 구성된 가벼운 인덱스 맵 $M$으로 바뀐다.
  • 효과: Replica office0 씬의 모든 세만틱 정보는 이제 '짧은 요약 노트(코드북 $S$)'와 '번호로 된 지도(인덱스 맵 $M$)' 두 가지만 있으면 완벽하게 재구성할 수 있다.

• 5단계: 요약 노트를 더 짧게 줄이기 (Semantic Compression)
  코드북 $S$에 적힌 특징들도 여전히 512차원이라는 긴 숫자로 되어 있다. 이를 더 줄이기 위해 Scene-specific Autoencoder를 사용한다.

  • 인코더 (Encoder $E$): 512차원의 긴 설명을 단 9차원($d=9$)의 아주 짧은 암호로 압축한다. 예를 들어 '나무 재질, 가구, 갈색, 단단함...' 등의 긴 설명을 '9번 암호' 하나로 요약하는 것이다.
  • 디코더 (Decoder $\Psi$): 나중에 이 9차원 암호를 보고 다시 원래의 풍부한 512차원 특징으로 복원할 수 있는지 확인하며 학습한다.
  • 결과: 이제 각 3D Gaussian은 무거운 512개 숫자 대신, 단 9개의 숫자만 들고 있게 된다. 용량이 획기적으로 줄어드는 핵심 비결이다.

• 6단계: 3D 공간에 번호표 붙이기 (Decoupled Feature 3DGS)
  마지막으로, 이 압축된 9차원 특징들을 3D 공간의 Gaussian들에게 나눠준다.

  • 독립된 공간: 기존 방식은 Gaussian 하나가 '색상'과 '세만틱' 정보를 모두 가졌지만, DF-3DGS는 이를 분리한다. 세만틱 정보는 색상만큼 복잡하지 않으므로 훨씬 적은 수의 Gaussian만 사용해도 충분하다.
  • 최종 렌더링: 우리가 새로운 각도에서 사무실을 바라보면, 모델은 9차원의 암호 지도를 그려낸다. 이를 다시 디코더에 통과시키면 우리가 이해할 수 있는 '책상', '의자' 같은 세만틱 지도가 완성된다.