참고

• https://github.com/nianticlabs/monodepth2\
• https://skk095.tistory.com/4
• https://prgmti1.tistory.com/37

Depth Estimation이란?

말그대로 이미지 또는 영상에서 깊이를 추정하는 것입니다.

위 이미지를 보면 왼쪽에 있는 차가 가운데에 있는 표지판보다 가까이 있는 것을 알 수 있습니다. 사람은 사진만 보고 물체가 얼마나 가까이 있고 멀리 있는지 대략적으로 알 수 있습니다. 그러나 컴퓨터는 사진만 보고 깊이를 추정하는 것을 어려워합니다. 따라서 깊이를 알 수 있도록 Train을 해야합니다.

Depth Estimation에는 카메라 하나만을 사용해 깊이를 추정하는 Mono와 와 두 개를 사용하는 Stereo가 있습니다.

Monocular Depth Estimation

Monocular depth estimation은 이미지 또는 비디오 소스에서 단일 카메라 (monocular)의 시점에서 장면의 깊이 정보를 예측하는 기술입니다. 즉, 2D 이미지에서 3D 정보를 추론하려는 노력입니다.

전통적으로 깊이 정보를 얻으려면 스테레오 카메라와 같은 여러 카메라를 사용하거나 LIDAR와 같은 센서를 사용해야 합니다. 그러나 monocular depth estimation은 단일 이미지만으로 깊이를 추정하려고 시도하기 때문에 이러한 복잡한 설정 없이 3D 정보를 얻을 수 있는 잠재적인 이점이 있습니다.

Monocular depth estimation의 주요 도전은 2D 이미지에는 깊이에 관한 명시적 정보가 포함되어 있지 않다는 것입니다. 따라서 이 작업은 깊은 학습 및 다양한 기계 학습 기법을 사용하여 수행되며, 학습된 모델은 이미지의 시각적 특징을 기반으로 깊이를 예측합니다.

몇 가지 실제 응용 분야로는:
1. 로봇 기술: 로봇이나 드론이 주변 환경을 이해하고 이동 경로를 계획하는 데 도움을 줄 수 있습니다.
2. 확장된 현실(AR) 및 가상 현실(VR): 실제 환경의 깊이 정보를 알면 확장된 현실의 경험을 향상시킬 수 있습니다.
3. 사진 향상: 포커스 효과나 다른 깊이 기반 효과를 추가하여 사진을 향상시킬 수 있습니다.

그러나 여전히 이 분야는 연구 중인 주제이며, 많은 알고리즘이 그 정확도와 효율성을 개선하기 위해 계속 개발되고 있습니다.

Stereo Disparity Estimation

두 카메라 간의 픽셀 또는 피처의 위치 차이(disparity)를 계산하여 장면의 깊이 정보를 추정하는 방법입니다.

스테레오 카메라는 두 개의 별도의 카메라로 구성되며, 두 카메라는 약간의 거리를 두고 병렬로 배치됩니다. 두 카메라는 동시에 같은 장면을 캡처합니다. 동일한 장면의 물체는 두 이미지에서 약간 다른 위치에 나타날 수 있으며, 이 위치의 차이를 'disparity(불일치)'라고 합니다.

불일치는 물체의 깊이와 관련이 있습니다. 즉, 물체가 카메라에 가까울수록 disparity는 더 크고, 멀리 떨어져 있을수록 disparity는 작아집니다. 이 원칙을 사용하여, 불일치 정보를 기반으로 장면의 깊이를 추정할 수 있습니다.

Stereo Disparity Estimation은 다양한 알고리즘과 기법을 사용하여 수행될 수 있으며, 많은 연구가 이 분야에서 진행되어 왔습니다. 스테레오 불일치 추정은 자율주행 자동차, 로봇 공학, 3D 모델링 및 다양한 다른 응용 프로그램에서 깊이 정보를 얻기 위해 사용됩니다.