VIO Search
Visual Inertial Odometry (VIO) 개요
개념적인 측면
Visual Inertial Odometry (VIO)는 로보틱스 및 컴퓨터 비전 분야에서 카메라의 시각 데이터와 IMU(Inertial Measurement Units)의 관성 데이터를 사용하여 장치의 위치와 방향(포즈)을 추정하는 방법입니다. VIO의 주요 목표는 고정밀성과 견고성을 갖춘 장치의 3차원 공간 내 움직임을 추적하는 것입니다. VIO는 시각적 특징을 추적하는 비주얼 오도메트리와 IMU의 가속도 및 각속도 측정을 이용한 관성 오도메트리를 결합합니다.
Research 측면
VIO 연구는 포즈 추정의 정확성, 견고성 및 계산 효율성을 향상시키는 데 중점을 둡니다. 주요 연구 영역은 다음과 같습니다:
-
센서 융합: 다양한 센서(카메라, IMU 등) 데이터를 결합하여 정확성과 신뢰성을 향상시키는 것. 칼만 필터, 확장 칼만 필터(EKF), 최적화 기반 방법 등이 일반적으로 사용됩니다.
-
견고한 특징 추출 및 매칭: 모션 블러, 조명 변화 및 동적 환경과 같은 어려운 조건에서도 이미지의 특징을 견고하게 추출하고 매칭하는 알고리즘 개발.
-
루프 클로저 및 재로컬라이제이션: 장치가 이전에 방문한 위치를 다시 방문할 때 감지(루프 클로저)하고 추적 실패 시 복구하는 방법 구현.
-
스케일 드리프트 처리: 센서 보정 또는 데이터 융합의 부정확성으로 인해 시간이 지남에 따라 환경의 추정된 스케일이 변경되는 문제를 해결.
Literature 연구 및 최신 기술 (SOTA)
VIO의 개발은 기본적인 비주얼 오도메트리 방법에서 시작하여 딥 러닝 및 고급 센서 융합 기술을 통합한 정교한 시스템으로 진화해 왔습니다. VIO의 최신 기술에는 다음이 포함됩니다:
-
전통적인 방법: ORB-SLAM, SVO (Semi-Direct Visual Odometry), MSCKF (Multi-State Constraint Kalman Filter)와 같은 기술을 포함하며, 수동으로 설계된 특징과 필터링 기법을 사용하여 포즈를 추정합니다.
-
딥 러닝 기반 방법: 최근 발전은 딥 러닝을 특징 추출, 깊이 추정 및 센서 융합에 통합했습니다. DeepVO와 VINet 같은 방법은 신경망을 활용하여 견고성과 정확성을 향상시킵니다.
-
최신 시스템: VINS-Mono, ORB-SLAM3, DSO (Direct Sparse Odometry)와 같은 시스템은 VIO의 최첨단 기술을 대표하며, 실시간 성능, 견고한 추적 및 대규모 환경 처리 능력을 제공합니다.
Deploy(배포) 측면
-
하드웨어(HW) 측면
VIO 시스템은 응용 프로그램과 필요한 정밀도에 따라 다양한 센서를 사용합니다. 일반적인 구성은 다음을 포함합니다:
- 모노큘러 카메라: 기본적인 비주얼 오도메트리에 사용됩니다. 추가 정보 없이 스케일을 복구할 수 없습니다.
- 스테레오 카메라: 시각적 특징의 위치를 삼각 측량하여 깊이 정보를 제공합니다.
- RGB-D 카메라: 색상 및 깊이 데이터를 캡처하며, 고밀도 3D 재구성에 유용합니다.
- 어안 렌즈 카메라: 좁은 공간에서 추적에 유용한 넓은 시야각을 제공합니다.
- IMU: 가속도 및 각속도 데이터를 제공하며, 시각 데이터 손실 동안 운동을 추정하는 데 중요합니다.
-
처리 측면
VIO는 강력한 GPU에서 저전력 임베디드 시스템까지 다양한 플랫폼에서 처리될 수 있습니다. 주요 고려 사항은 다음과 같습니다:
- GPU: 복잡한 환경에서 실시간 처리를 위해 사용됩니다. 딥 러닝 모델 및 고밀도 3D 재구성을 처리할 수 있습니다.
- NPU (Neural Processing Units): 엣지 장치에서 신경망 추론을 가속화하기 위한 특수 하드웨어입니다.
- 임베디드 시스템: NVIDIA Jetson 플랫폼과 같은 저전력 시스템으로, VIO 알고리즘을 실시간으로 실행할 수 있습니다.
상용 솔루션 및 비교
-
소프트웨어 및 하드웨어 구성 요소: 상용 솔루션에는 RGB-D 및 CSI 카메라를 지원하는 NVIDIA Jetson Xavier NX와 같은 소형 보드 컴퓨터(SBC)가 포함됩니다.
-
T265 Visual Odometry vs. OTS (Optical Tracking System): Intel RealSense T265는 이중 어안 렌즈 카메라와 IMU를 통해 정확한 추적을 제공하는 컴팩트하고 효율적인 VIO 솔루션을 제공합니다. 전문적인 광학 추적 시스템과 비교할 때 T265는 접근성이 뛰어나지만 정밀도와 스케일 면에서 한계가 있을 수 있습니다. OTS 시스템은 종종 밀리미터 수준의 정확성을 제공하지만 훨씬 비싸고 배포가 복잡합니다.
미래 방향 및 과제
-
기준 문제: 다양한 시나리오에서 정확성과 신뢰성을 위한 기준을 설정하는 것이 과제입니다. 하드웨어 비용, 계산 자원 및 원하는 정밀도 간의 균형을 맞추는 것이 필요합니다.
-
센서 융합: 9-DOF IMU와 같은 추가적인 센서 융합을 탐색하면 전통적인 센서가 어려움을 겪는 환경에서 VIO 시스템의 성능을 향상시킬 수 있습니다.
결론
Visual Inertial Odometry는 로보틱스, 증강 현실 및 자율 시스템에 중요한 영향을 미치는 역동적이고 발전하는 분야입니다. 고급 센서와 계산 기술의 통합은 다양한 응용 프로그램에서 보다 정확하고 견고한 추적 솔루션을 가능하게 하여 가능성의 경계를 계속 확장하고 있습니다.
On-Device model
RAE : https://shop.luxonis.com/products/rae
- On-device SLAM / VIO support
T265 : https://dev.intelrealsense.com/docs/intel-realsensetm-visual-slam-and-the-t265-tracking-camera
- On-device SLAM / VIO support
