1. Introduction

논문에서 지적한 기존 연구의 세 가지 핵심 한계점과 InstanceGaussian이 이를 어떻게 해결했는지 설명한다.

1.1. 외형과 의미 정보의 불균형 (Imbalance between Appearance and Semantics)

• 한계점: 객체의 미세한 질감이나 색상(Appearance)을 표현하려면 아주 많은 수의 Gaussian이 필요하다. 반면, 그 객체가 무엇인지 나타내는 의미(Semantics) 정보는 해당 영역 전체가 동일한 속성을 공유한다. 기존 방식은 모든 Gaussian에 개별적인 의미 특징을 부여하려다 보니, 외형 표현에는 적당한 수의 Gaussian이 의미 표현에는 불필요하게 중복되어 효율성이 떨어지는 불균형이 발생했다.

• 해결책 (Semantic-Scaffold-GS): Scaffold-GS 구조를 계승하여 해결했다. 하나의 부모 격인 앵커 포인트($A$)에서 여러 개의 자식 Gaussian($G$)을 생성하는 구조를 활용한다. 이때 자식 Gaussian들은 각기 다른 외형 속성(색상, 투명도, 크기 등)을 갖지만, 인스턴스 특징($f$)은 부모 앵커로부터 그대로 공유(Share)받는다. 결과적으로 외형은 세밀하게 묘사하면서도 의미 정보는 효율적으로 압축하여 학습 효율을 높였다.

1.2. 외형과 의미의 불일치 (Inconsistency between Appearance and Semantics)

• 한계점: 순수한 외형 재구성만 수행할 경우, 하나의 Gaussian이 물체의 경계에서 물체(전경)와 배경을 동시에 포함하는 경우가 생긴다. 기존의 LangSplat이나 OpenGaussian처럼 외형을 먼저 학습하고 의미 정보를 나중에 따로 학습하는 분리된 전략은, 이미 고정된 외형 구조에 의미 정보를 끼워 맞추려다 보니 경계선이 어긋나는 불일치 문제를 겪게 된다.

• 해결책 (Progressive Joint Training): 외형과 의미를 단계적으로 결합하여 학습하는 전략을 제안했다.

  • 0-10k 단계: 외형 속성만 학습하여 기초 기하학 구조를 잡는다.
  • 10k-20k 단계: 외형과 의미를 각각 독립적으로 학습시킨다.
  • 20k-30k 단계: 외형과 의미 속성을 동시에 합동 학습(Joint Training)한다.
    특히 손실 함수에서 서로 다른 객체 간의 특징 거리가 일정 수준($\tau = 0.4$) 이상 벌어지면 더 이상 강제로 밀어내지 않는 개선된 대비 손실($L_c$)을 사용하여 학습의 안정성을 확보하고 경계선의 일치성을 높였다.

1.3. Top-down 방식의 한계 (Difficulties with Top-down Instance Segmentation)

• 한계점: GaussianGrouping과 같은 기존 방식은 2D 트래킹 결과나 미리 정의된 카테고리 수에 의존하는 하향식(Top-down) 방식을 취한다. 이는 새로운 환경에서 객체 수를 미리 알기 어렵고, 복잡한 장면에서 객체를 너무 잘게 나누거나(Over-segmentation) 제대로 합치지 못하는(Under-segmentation) 문제를 야기한다.

• 해결책 (Bottom-up Category-Agnostic Aggregation): 카테고리 정보 없이 바닥부터 쌓아 올리는 상향식(Bottom-up) 방식을 도입했다.

  • 과잉 분할 단계: 최원점 샘플링(FPS)과 K-means 클러스터링을 통해 장면을 수많은 작은 부분(Sub-objects)으로 잘게 나눈다.

  • 그래프 기반 통합: 이 작은 조각들을 노드로 하는 그래프를 구성한다. 두 조각 사이의 의미적 유사도(특징 벡터 거리)와 공간적 인접성(Voxel 연결성)을 모두 고려하여, 기준치($\gamma$) 이하로 가까운 조각들을 하나로 합친다. 이 과정을 통해 객체의 개수를 미리 정하지 않고도 장면 구조에 맞춰 유연하게 완전한 객체를 찾아낼 수 있다.

2. Method

2.1. Preliminary

• 3D Gaussian Splatting (3DGS)

  • $n$개의 3D Gaussian 집합 $G$를 사용하여 장면을 표현한다. 각 Gaussian은 중심 위치 $\mu$, 색상 $c$, 불투명도 $\sigma$, 회전 $R$, 크기 $S$라는 최적화 가능한 파라미터를 가진다.
  • 미분 가능한 래스터화 $D$를 통해 특정 시점의 이미지 $I_{ren}$으로 렌더링되며, 실제 이미지 $I_{gt}$와의 차이인 재구성 손실 $L_{rgb}$를 통해 학습된다.

• OpenGaussian

  • 단순히 예쁜 3D 이미지를 만드는 것을 넘어, 각 Gaussian 점들이 어떤 물체에 속하는지(인스턴스)와 어떤 의미를 갖는지(시맨틱)를 이해하게 만드는 것이 목적이다.
  • SAM과 같은 2D 기반 모델의 지식을 3D 공간으로 투영(Mask Lifting)하여, 텍스트 쿼리만으로 특정 물체를 선택하거나 3D 점 구름 수준에서 정밀한 분할(Segmentation)을 수행할 수 있게 한다.
  • OpenGaussian은 고정된 코드북을 사용하여 특징을 학습함으로써 3D 공간의 연속성을 활용하는 데는 일부 한계가 있었다.

• Scaffold-GS
  

  • 3D Gaussian Splatting의 한계점인 과도한 메모리 사용과 불규칙한 점 배치를 해결하기 위해 앵커(Anchor) 시스템을 도입한 기술이다.
  • SfM으로 생성된 Sparse Point를 장면의 기하학적 뼈대인 앵커로 세우고, 이 앵커들로부터 주변의 세부 가우시안들을 유도(Derive)해내는 계층적 구조를 가진다.
  • 결과적으로 희소한(Sparse) 점 데이터에서도 더 정교한 외형을 복원할 수 있으며, 시점 변화에 유연하게 대응하는 적응형 렌더링이 가능하다.

• InstanceGaussian의 기여

  • 본 논문은 Scaffold-GS의 효율적인 구조적 표현력과 OpenGaussian의 인스턴스 인식 능력을 합쳤다.
  • 앵커 하나가 여러 자식 가우시안을 거느리는 구조를 활용해, 외형은 복잡하게 표현하되 의미(인스턴스 특징)는 앵커 단위로 공유하게 함으로써 외형과 의미 정보 사이의 불균형을 해결하고자 했다.

2.2. Appearance-semantic joint Gaussian Representation

InstanceGaussian은 3D Gaussian Splatting 기반의 장면 이해에서 발생하는 외관과 시맨틱 사이의 불균형 및 불일치 문제를 해결하기 위해 고안된 새로운 표현 방식과 학습 전략을 제시한다.

• 외관-시맨틱 균형 표현 (Semantic-Scaffold-GS)

  • 동일한 객체 내에서도 질감과 같은 외관 정보는 복잡하지만, 시맨틱 정보는 하나로 공유될 수 있다는 점에 착안한다.

  • 기존 Scaffold-GS 구조를 확장하여 $n'$개의 앵커 포인트 $A$로부터 $n = 5n'$개의 하위 가우시안 $G$를 생성한다.

    • Scaffold-GS라는 명칭을 사용하는 이유는 이 방식이 단순히 부모-자식의 트리 구조를 넘어, 장면의 기하학적 구조를 유지하는 앵커 포인트들이 가우시안들이 배치될 수 있는 지지대 역할을 하기 때문이다.

    • 건축 현장에서 높은 곳 작업을 위해 설치하는 임시 가설물처럼, 앵커 포인트 $A$가 공간상에 고정된 격자나 지지대 역할을 하고, 그 주변에 실제 렌더링에 사용되는 가우시안 $G$들을 생성하여 매다는 방식이다. 단순히 상속받는 것에 그치지 않고 공간적 구조를 강제한다는 점이 핵심이다.

    • 이때 5개의 하위 가우시안은 각기 다른 외관 속성을 갖도록 MLP를 통해 디코딩되지만, 인스턴스 특징 $f$는 부모 앵커 포인트로부터 동일하게 공유받는다.

  • MLP 네트워크:

    • 공간적 제약과 구조화: 가우시안들이 아무런 제약 없이 각자 최적화되면, 학습 초기 단계에서 공간상에 흩어지거나 겹쳐지며 구조적 일관성을 잃기 쉽다. MLP를 사용하면 앵커 포인트라는 기준점으로부터 상대적인 위치(오프셋)와 속성을 생성하므로, 가우시안들이 공간적으로 뭉쳐서 객체의 형태를 더 잘 유지하게 된다.

    • 표현력의 효율적 확장: $n$개의 가우시안 속성을 모두 직접 저장하려면 메모리 소모가 극심하다. 하지만 앵커 포인트 하나에 작은 용량의 MLP를 연결해두면, 적은 데이터로도 복잡한 외형 변화를 생성해낼 수 있다. 즉, 하위 가우시안들은 MLP가 출력한 값을 기반으로 래스터라이즈되지만, 그 MLP 자체가 GT 이미지와의 오차를 줄이는 방향으로 역전파되어 최적화된다.

    • 외관-시맨틱 분리 제어: 질문한 것처럼 5개의 하위 가우시안이 각기 다른 외형을 가져야 하는데, 이를 직접 최적화하는 것보다 부모 앵커의 정보를 입력으로 받는 MLP를 통하게 함으로써 시맨틱 특징 $f$는 공유하고 외형만 변주를 주는 제어가 훨씬 용이해진다.

      • 이러한 공유 방식은 희소한 포인트로 구성된 장면에서도 외관 학습을 강화하는 동시에 시맨틱 학습의 효율성을 크게 높여준다.

  • 인스턴스 특징 $f$:

    • InstanceGaussian의 특징 $f$는 처음에는 의미 없는 6차원의 무작위 숫자 벡터다. 하지만 SAM 마스크를 가이드로 삼아 다음과 같은 과정을 거쳐 의미 있는 고유 벡터로 변한다.

    • SAM 마스크의 역할: SAM은 이미지 내에서 객체 간의 경계를 매우 정확하게 나누어준다. 학습 과정에서 같은 SAM 마스크 영역 안에 있는 픽셀들은 서로 유사한 $f$ 값을 갖도록 강제하고, 서로 다른 마스크 영역에 속한 픽셀들은 $f$ 값이 서로 멀어지도록 밀어낸다.

    • 고유 벡터로의 수렴: 이 과정을 수만 번 반복하면, 같은 객체에 속한 가우시안들은 특징 공간에서 하나의 군집을 형성하게 된다. 즉, $f$는 사과라는 이름표를 달고 시작하는 게 아니라, "나는 A라는 덩어리에 속해 있어"라는 고유한 지문을 갖게 되는 것이다.

    • 클래스 연결 과정: 이렇게 얻어진 $f$는 그 자체로 인스턴스 정보일 뿐, 클래스 이름(책상, 신발 등)은 모른다. 따라서 학습이 끝난 후, 렌더링된 $f$ 맵과 실제 이미지의 CLIP 특징을 비교하여 "이 $f$ 덩어리는 CLIP이 보기에 책상과 가장 비슷하다"라고 연결하는 사후 연합 과정을 거친다.

      • 1. 책상에 대한 $f$를 가진 3D 가우시안을 학습할 때 썼던 이미지로 다시 투영시킨다. 이렇게 투영된 물체는 SAM의 마스킹 이미지와 일치할 것이다.
      • 2. 여러 각도에서 바라본 이미지들의 마스크와 3D 가우시안의 2D 투영이 가장 많이 겹치는 오브젝트를 연결한다.
      • 3. 여러 각도에서 바라본 책상 이미지를 CLIP에 넣어 평균을 내 512 차원의 임베딩 벡터를 만든다.
      • 4. 해당 벡터와 $f$를 1대1로 매핑한다.

• 점진적 통합 학습 전략 (Progressive Joint Training)
  • 외관 재구성만 수행할 경우 가우시안이 객체 경계에서 배경과 전경을 동시에 표현하는 문제가 발생하여 시맨틱 정보와 충돌할 수 있다.
  • 이를 방지하기 위해 단계를 나누어 학습을 진행한다. 초기 0~10k 단계에서는 외관만 학습하고, 10k~20k 단계에서는 외관과 시맨틱을 독립적으로 학습하며, 마지막 20k~30k 단계에서 비로소 통합 학습을 수행한다.
  • 이 과정은 외관과 시맨틱 사이의 일관성을 보장하여 3D 포인트 세그멘테이션과 2D 이미지 렌더링 품질을 동시에 향상시킨다.

2.3. Bottom-up Category-Agnostic Instantiation

이 과정은 사전에 정의된 카테고리 정보에 의존하지 않고, 장면 내의 객체들을 독립적인 단위로 묶어내는 방법으로 과분할과 그래프 기반 병합의 두 단계로 나뉜다. 이해를 돕기 위해 복잡한 수식보단 간단한 시나리오를 기반으로 설명한다.

• 과분할 단계: 하나의 소파를 수많은 조각으로 나누기

  • 시스템은 소파와 쿠션이 각각 무엇인지 모르는 상태에서 시작한다. 먼저 FPS(Farthest Point Sampling)을 통해 소파 전체에 점 수천 개를 골고루 찍는다.

  • 이 점들을 중심으로 k-means 클러스터링을 수행하면, 소파는 왼쪽 팔걸이 조각, 등받이 상단 조각, 하단 시트 조각 등으로 수백 개의 작은 부분 객체들로 쪼개진다.

    • 이 때, 인스턴스 특징 $f$는 2.2.절에서 설명한 Progressive Appearance-Semantic Joint Training 전략에 의해 먼저 학습된 상태다.

    • 학습 과정에서 SAM으로 얻은 2D 마스크 정보를 활용하여, 같은 마스크 안에 있는 Gaussian들은 서로 유사한 특징값을 가지도록 최적화 되어있으므로, k-means 클러스터링을 수행하는 시점에는, 이미 같은 소파를 구성하는 Gaussian들이 서로 매우 유사한 6차원의 인스턴스 특징 벡터를 공유하고 있는 상태다.

  • 과분할의 목적: 특징이 완벽하지 않을 때를 대비한 안전장치

    • 만약 소파의 특징값 $f$가 완벽하게 동일하다면 한 번에 소파를 찾아낼 수 있겠지만, 실제로는 조명이나 시점에 따라 $f$값에 미세한 차이가 발생할 수 있다.
    • 그래서 처음부터 거대한 소파 하나를 찾으려 하기보다, 일단 $s=1000$개처럼 아주 잘게 쪼개는 과분할을 먼저 수행한다.
    • 잘게 쪼개진 각 조각 안에서는 특징값의 편차가 매우 작으므로 안정적인 하위 객체 ¯f를 얻을 수 있으며, 이후 단계에서 이들을 다시 정교하게 병합하는 전략을 취한다.

• 그래프 기반 병합 단계: 조각들 사이의 친밀도 검사하기

  • 이제 쪼개진 조각들이 서로 같은 객체인지 확인하기 위해 그래프를 그린다. 예를 들어 소파의 왼쪽 팔걸이 조각과 등받이 조각을 비교한다.
  • 특징값 거리 $\| \bar{f}_i - \bar{f}_j \|_2$를 계산하여 두 조각의 인스턴스 특징이 비슷한지 확인하고, 동시에 공간적 인접성 함수 $\mathbf{1}(i, j)$를 통해 두 조각이 물리적으로 붙어 있는지 체크한다.
  • 소파 조각들끼리는 서로 맞닿아 있고 특징도 비슷하므로 높은 연결성을 가지게 되지만, 소파 조각과 거실 바닥 조각은 특징이 다르거나 물리적으로 멀어 연결성이 낮게 측정된다.

• 최종 인스턴스 추출: 연결된 덩어리를 하나의 객체로 확정하기

  • 그래프 연결 성분 분석을 통해 서로 끈끈하게 연결된 조각들을 하나의 큰 덩어리로 묶는다.
  • 강하게 연결된 소파 팔걸이, 등받이, 시트 조각들은 하나의 소파라는 인스턴스로 합쳐지고, 소파 위에 놓여 있지만 특징이 미세하게 다른 쿠션 조각들은 별도의 쿠션 인스턴스로 분리된다.
  • 이 과정이 끝나면 사용자가 소파를 선택했을 때 단순히 한 조각이 아닌 소파 전체가 하나의 독립적인 객체로 인식되며, 사전에 소파라는 카테고리를 학습하지 않았음에도 장면 안에서 적응적으로 개별 물체를 찾아내게 된다.

3. Experiments

• Category-Agnostic 3D Instance Segmentation:
  

  • 상향식 인스턴스 집계의 효과:
    본 논문의 핵심 기여인 Bottom-Up 방식의 인스턴스 집계 전략은 먼저 장면을 작은 단위로 과분할한 뒤 그래프 연결성을 기반으로 병합한다. 이러한 적응형 집계 방식 덕분에 사전에 객체의 개수를 지정하지 않고도 복잡한 실내 환경 내의 다양한 가구와 구조물들을 독립적인 완성된 객체로 성공적으로 식별해냈다.

• Open-Vocabulary Query Point Cloud Understanding:
  

  InstanceGaussian은 텍스트 쿼리를 통해 3D 장면 내의 객체를 검색하고 이해하는 Open-Vocabulary Query 기능을 제공한다. 이 과정은 크게 3D 인스턴스 생성, CLIP 특징 벡터 연결, 그리고 텍스트 유사도 계산의 단계로 구성된다.

  • 3D 인스턴스-CLIP 특징 연결

    • 논문의 섹션 3.3에서 설명한 Bottom-Up 방식의 인스턴스 생성을 완료한 후, 각 3D 인스턴스를 2D Mask와 연결한다.
    • OpenGaussian에서 제안한 방식을 채택하여 각 3D 인스턴스에 512차원의 CLIP 이미지 특징 벡터를 할당한다.
    • 이 과정을 통해 물리적인 3D 기하 구조뿐만 아니라 시각적 개념과 연관된 풍부한 의미 정보가 3D 공간에 임베딩된다.

  • 텍스트 기반 객체 검색 원리

    • 사용자가 입력한 임의의 텍스트로부터 CLIP 텍스트 인코더를 통해 512차원의 텍스트 특징 벡터를 추출한다.
    • 추출된 텍스트 특징 벡터와 각 3D 인스턴스가 보유한 이미지 특징 벡터 사이의 코사인 유사도를 계산한다.
    • 유사도가 높은 인스턴스를 선택함으로써 침대나 커튼 같은 일반적인 카테고리는 물론이고, 타다(ride) 혹은 음악(music)과 같이 추상적이거나 동작과 관련된 Open-Vocabulary 쿼리에 대해서도 대응이 가능하다.