Update from Large Scale Point Cloud
읽은 날짜: 2025년 9월 29일 ~ 10월 05일
- 석사 학위 청구 논문
1. Introduction
연구 배경
메타버스 환경 구축에 있어 중요한 데이터 유형 중 하나는 2D 이미지와 Point Cloud다.
2D 이미지는 색상 정보를 가진 2차원 데이터로 쉽게 얻을 수 있는 장점이 있지만 실제 공간의 깊이나 3차원 형상을 정확히 전달하기 어렵고 조명 변화나 외부 요인에 의해 쉽게 변할 수 있다.
2D 이미지를 이용한 3차원 데이터 생성의 방법
- Structure from Motion(SfM)으로 여러 장의 2D 이미지에서 특징점을 추출하고 이를 기반으로 카메라의 위치와 3D 구조를 추정한다.
- Multi-View Stereo(MVS)방법으로 여러 이미지에서 깊이 정보를 추출한 후 이를 통합해 3차원 공간을 구성한다.
- Neural Radiance Fields(NeRF) 기법으로 신경망을 이용하여 3D 장면을 재구성한다.
- LiDAR와 ToF(Time-of-Flight) 카메라를 사용하여 3D 스캔 방법이 있다.
Point Cloud는 3D 물체의 형상과 구조를 매우 정확하게 재현할 수 있는 3차원 데이터로 3D 모델링에 매우 유용하다. 그러나 Point Cloud 데이터는 수집하기 어렵고 데이터 용량이 크다.
Point Cloud 데이터는 공간의 세부 특성을 정확하게 나타낼 수 있어 다양한 산업 분야에서 유용하게 활용되고 있다. 그러나 Point Cloud 데이터는 대규모 데이터셋에서 딥러닝을 활용하기 어려운 점과 변화가 발생할 때마다 전체 데이터를 다시 촬영하거나 직접 수정해야 하는 문제점이 있다.
연구 목표
그림 1-1 연구 목표
기존의 대규모 Point Cloud 데이터로부터 일부분에 변화가 생겼을 때 변화를 탐지하고 전체를 재촬영, 수작업 없이 효율적으로 업데이트하는 방법을 개발하는 것이다.
연구 질문
- 기존의 변화 탐지 연구는 이미 정합이 완료된 데이터나 다중 데이터를 기반으로 변화를 탐지하는 방식인데 단일 데이터만을 사용해 정합을 시도하여 변화를 탐지할 수 있는가?
- 기존의 Point Cloud 정합 연구는 좁은 영역의 겹침이나 차량 데이터에서의 정합을 대상으로 했지만 대규모 Point Cloud 데이터를 보다 효율적으로 처리하며 정합을 시도할 수 있는가?
- 신속하고 정확한 업데이트를 가능하게 하는 알고리즘 개발이 가능한가?
2. Related Works
포인트 클라우드 Transformer
Point Cloud 데이터는 객체의 위치, 형태, 크기 등을 포함한 중요한 정보를 담고 있다. Point Cloud 데이터에서 Transformer 구조를 적용한 주요 연구로는 Point Transformer와 PointFormer가 있다.
Point Transformer는 Point Cloud 데이터를 처리할 때 각 점을 기준으로 인접한 k개의 점과의 관계를 Self-Attention 매커니즘을 사용하여 학습한다.
PointFormer는 Further Point Sampling (FPS) 기법을 사용해 점 군내에서 중요한 점들을 선별한 후 이 점들에 대해 Self-Attention을 적용하여 점 간의 의미를 파악했다.
포인트 클라우드의 정합
Point Cloud 정합은 여러 개의 점 군집을 하나의 일관된 좌표계로 변환하는 과정이다. Point Cloud 정합의 방법은 Local Registration와 Global Registration으로 나눌 수 있다.
Local Registration
Local Registration의 대표적인 예인 ICP Registration은 Iteractive Closet Point Registration으로 두 점 집합의 대응 관계를 설정하고 반복적으로 정합을 시도하여 최적의 Transformation Matrix를 얻는 방법을 말한다.
정합하는 과정에서 노이즈 처리에 따라 결과값과 시간이 나빠질 수 있기 대문에 잠재적인 Outlier 제거 등의 연구가 이루어지고 있다.
Sampling을 통한 해결법
수많은 점으로부터 일부분의 점을 선별하여 성능을 개선하는 것을 목표로 한다. 먼저 Normal-Space Sampling 방법으로 굴곡진 부분에서 조금 더 많은 점을 선별한다.
Feature-based Sampling 방법으로 각 점으로부터 특징들을 뽑아내고 독립적인 특징을 가진 점으로부터 Registration을 시도하는 방법이다.
일정한 거리마다 점을 선택하는 Uniform Sampling, Random으로 점을 선택하는 Random Sampling 등의 방법이 있다.
초기 대응 관계 설정을 통한 해결법
초기 대응 관계 설정을 통해 ICP의 성능을 개선하는 것을 목표로 한다. 먼저 Point-to-Point 방법으로 한 집합의 점으로부터 다른 집합의 점을 참조하여 가장 가까운 점을 선별한다. 그 후 회전 행렬과 이동 벡터를 사용한 수식2와 같은 비용 함수를 사용하여 이를 최소화하도록 반복한다.
또한 Point-to-Plane 방법으로 Point-to-Point의 방법에서 가장 가까운 점이 아닌 점으로부터 법선 벡터의 평면 위 임의의 점으로 비용 함수를 최소화하도록 반복한다.
이외에도 다양한 방법이 있지만 최근에는 Pont-to-Plane 방법이 주를 이루어 ICP Registration을 시도한다.
Global Feature Registration
Global Feature Registration은 Point Cloud Data로부터 특징을 기반으로 Registration을 시도한다. 각 점으로부터 독립적인 특징을 가지게 된다면 아웃라이너, 노이즈에 강인성이 높아 다양한 상황에서도 효과적이다. 하지만 모든 점에 대한 특징 계산에 많은 컴퓨팅 자원이 요구된다.
포인트 클라우드로부터의 변화 탐지
Point Cloud로부터 변화 탐지를 수행하는 방법은 크게 두 가지로 나눌 수 있다.
먼저 임계값을 이용한 방법이다. 점 간의 거리, 색 등의 특성을 Euclidean Distance를 이용하여 임계값 이상 차이가 난다면 변화가 생겼다고 판단한다. 이러한 방법은 데이터의 입력마다 임계값을 다르게 설정해야 하는 번거로움이 있다.
딥러닝을 이용한 방법이다. 각 점으로부터 Point Cloud Descriptor를 사용하여 독립적인 특징을 얻어내고 이들로부터 차이가 있다면 변화가 생겼다고 판단한다.
따라서 이 논문에서는 정합이 이루어지지 않은 Point Cloud 데이터만을 입력으로 받아 10초 내외의 시간에 효율적으로 데이터를 정합하고 그 후 변화가 발생한 부분을 탐지하는 새로운 End-to-End 방식을 제안한다.
