ArtGS: Building Interactable Replicas of Complex Articulated Objects via Gaussian Splatting

Abstract

관절형 오브젝트의 상호작용가능한 레플리카를 만드는 것은 컴퓨터 비전에 있어서 핵심 과제이다. 기존 방법들은 다른 두 상태의 물체정보를 효과적으로 통합하지 못하는 경우가 많으며 이는 복잡한 특히 복잡한 part가 많은 관절형 오브젝트에 대해 mesh 재구성과 동역학 모델링의 정확도를 제한함. 이러한 문제를 해결하기 위한 3D 가우시안 기반의 새로운 접근법 ArtGS를 제시 기준이 되는 가우시안과 단계적인 초기화 및 업데이트로 다른 상태에서 관절 부위정보를 정렬함 skinning에서 영감을 받은 part 동역학 모델링 모듈을 도입하여 part mesh 재구성과 관절 학습 모두를 향상시킴 ArtGS는 관절 파라미터 추정 및 부분 메시 재구성에서 SoTA달성. 특히 part가 많은 관절형 오브젝트에서 품질과 효율성을 크게 향상. 설계선택에 대한 포괄적인 분석을 제공하며 각 구성요소의 효과성을 검증하고 향후 걔선 가능성이 있는 부분을 강조함.

1. Introduction

관절형 오브젝트는 일상적인 인간-환경 상호작용의 핵심 요소이며 최근 컴퓨터비전연구의 핵심과제이다. 현실세계의 장면을 정확하게 재구성하고 상호작용 가능한 디지털 레플리카를 만드는 일은 장면 이해와 로봇학슴에서 필수적임. 고 정밀의 디지털 트윈을 구축하믕로 우리는 합성환경과 실제 환경의 간극을 줄일 수 있으며 이에 따라 로봇 시스템의 시뮬레이션과 실제 세계 간 전이를 촉진할 수 있다. 보다 정교한 로봇 시스템과 몰입형 가상환경을 지향함에 있어서 관절형 물체의 재구성을 위한 개선된 고효율 모델링 기법의 수요도 증가하고 있다.

관절형 오브젝트의 재구성 문제는 오랫동안 활발히 연구되어 왔으며 이 분야의 핵심 도전 과제는 각 상태에서 관측 가능한 시야가 제한적일 때 물체의 기하구조를 학습하는 것이다. 예를 들어 닫힌 서럽과 같은 물제의 구성요소를 정확하게 재구성하려면 여러 상태의 관찰 정보를 통합해야 한다. 이를 위해서 다양한 상태에 걸처 물체의 세부적인 부분을 정렬하고 공동으로 학습해야하며 이는 곧 물체의 기하 구조를 재구성하는 과정 자체와 함께 진행되어야 한다. 이러한 요구는 특히 여러 개의 상호작용 가능한 부품으로 구성된 일상적인 복합 관절형 오브젝트의 모델링에서 큰 문제를 불러일으킨다. 추가적으로 물체의 기하 구조를 재구성할 때 발생하는 불확실성은 관절 구조를 모델링할 때 또다른 문제를 발생시킴. 즉 기하구조에서의 오차는 관절 파라미터 학습의 부정확성으로 이어짐. 이러한 도전 과제들은 결국 복잡한 다중 부품 관절형 물체의 복잡성을 효과적으로 처리할 수 있는 향상된 모델의 필요성을 부각시킴

최근 연구들은 이러한 문제를 해결하기 위해 사전학습된 모델에서 추출된 part priors를 활용하는 접근법을 시도하고 있다. 이러한 모델은 SAM같은 모델로 part segmentation mask를 제공하거나 상태 간 픽셀 정렬을 위한 2d 픽셀 대응 정보를 제공한다. 그러나 이러한 방법은 사전학습 모델에 과도하게 의존하고 있으며 단일 상태의 입력만을 사용하고 핵심적인 움직임 정보는 무시하는 경향이 있음. 상태 간 정확한 픽셀 정합(pixels matching)이 어려운 다중 부품 물체의 복잡성을 다루는 데는 한계가 있음 이러한 제한점들은 불안정하고 일관성없는 오브젝트 part의 학습으로 이어지고 부품의 움직임과 기하구조의 공동학습에 상당한 문제를 야기함.

이러한 문제를 해결하기 위해 복잡한 다중 부품 관절 오브젝트를 효과적으로 처리하기 위한 여러 핵심 혁인을 도입한 ArtGS를 제안. 구제적으로 기존 연구들에서 설정한 바와 같이 두 개의 상태만을 활용하는 설정을 따름. 3D 가우시안을 기본 표현으로 채택하여 공간 정보를 명시적으로 유지하면서도 효율성과 높은 재구성 품질을 제공함. 객체의 동적 움직임을 효과적으로 모델링하고 여러 상태 간 정보를 통합하기 위해 기준이 되는 가우시안에 기반하여 coarse-to-fine 초기화 및 업데이트 전략을 설계.
이 가우시안들은 입력된 다양한 객체 상태들 간 연결고리 역할을 하며 정확한 변형 모델링을 가능하게 하고 메시 재구성과 관절학습의 성능을 향상시킴. 기준이되는 가우시안 위에서 가우시안 skinning에서 영감을 받아 part및 dynamics학습을 위한 중심 기반 클러스터링 모듈을 도입함. 이 접근 방식은 학습 과정동안 요약된 가우시안의 운동 사전정보를 활용하여 상태 간 부품 정렬을 더 잘 수행하고 관절 학습의 정확성을 향상시킴. 이러한 설계는 관절 파라미터 추정과 부품 메시 재구성에서 SoTA를 달성하게하며 기존 벤치마크에 새롭게 구축한 복잡한 다중 부품 객체 재구성 벤치마크에서도 우수한 성능을 보임. 이 접근 법은 합성 및 실제 환경 모두에서 기존 방법을 능가하며 관절 축 모델링과 전체적인 효율성에서 큰 개선을 보임. 광법위한 실험을 통해 복잡한 다중 부품 관절 객체에 대한 고품질 재구성을 효율적으로 달성하는 능력을 입증하였으며 각 구성요소의 역할에 대한 심층분석과 개선 가능성의 영역도 함께 제시.

따라서 contribution은
1) 관절형 물체를 제구성하는 새로운 접근법으로 복잡한 다중 부품 객체에 대해 SoTA를 달성한 ArtGS를 제시
2) coarse-to-fine방식의 정준 가우시안 초기화와 스키닝에서 영감을 받은 부품 동역학 모델링을 도입
3) 이 과정에서 self-guided motion priors를 활용하여 부품 및 관절 학습을 효과적으로 수행하며 기존 기법들이 객체의 운동정보 활용의 한계를 극복
4) 합성 및 실제 데이터셋에서 광범위한 실험을 수행하여 제안하는 방법의 효과, 효율, 확장, 강건성을 입증하고 포괄적인 설계 요소 제거 실험으로 각 구성요소의 유효성을 입증

2. Related Work

Dynamic Gaussian modeling

최근 발전된 연구들은 가우시안 스플래팅 기법이 4D 재구성(시간축이 포함된 3D 재구성 즉 동적 장면 재구성)에 효과적임을 입증하고 있다. 이러한 연구의 중심은 3D 가우시안의 변형 모델링으로 동작 캡처에는 효과적이지만 변환에 대해서는 암묵적으로 학습한다. 따라서 제어 가능한 동역학 모델링에는 한계가 있다. 이러한 문제를 해결하고자 최근 몇몇 연구에서는 슈퍼포인트를 활용하여 동역학 모델링과 제어를 향상시키고 있다. 하지만 이러한 방법은 랜더링 기반 학습에만 의존하고 객체의 물리적 특성은 고려하지 않기에 정확한 물리 파라미터를 신뢰성 있게 추출하지 못한다. 또다른 접근으로 물리 기반 모델링을 그래픽 시뮬레이션에 통합하여 제어 가능한 가우시안을 도입한 연구들도 있는데 이러한 모델은 복잡한 사전 지식(priors)를 필요로 하므로 일상적인 관절형 오브젝트를 재구성하는 데는 실용성이 떠러진다. 이러한 기존의 한계를 극복하기 위해 명시적 3d 가우시안 모델링을 관절 모델링을 결합하고 이를 통해 효율적이고 고품질의 재구성과 정밀한 관절 파라미터의 추정으로 현실적인 관절형 오브젝트의 디지털 트윈을 구성한다.

3. Preliminaries

3D Gaussian Splatting

3DGS은 정적인 3d 장면을 다수의 3d 가우시안(정규분포)로 표현하는 방법이다.
각각의 가우시안