Depth Estimation
- Depth Estimation: 영상에서 깊이를 추정하는 것
위의 그림에서 왼쪽에 차가 가까이 있고, 노란색 표지판은 왼쪽의 차보다는 멀리 있음. 컴퓨터는 사진만 보고 깊이를 추정하기 어려워하기에 깊이를 알 수 있도록 train함.
원본 이미지 아래에 있는 그림에서 가까이 있는 부분은 밝은색, 멀리 있는 부분은 어두운 보라색으로 추정된 것을 볼 수 있음.
Depth Estimation에는 Stereo와 Mono가 있음.
Stereo
Depth를 추정하는 데는 Stereo Camera로 찍은 Left Image와 Right Image가 필요함. Depth는 Stereo Camera로 찍은 Left Image와 Right Image에서 동일 점을 찍었을 때 얼마만큼의 차이가 나는지의 Disparity를 통해서 구할 수 있음.
멀리 있는 것은 disparity(시차)가 작고, 가까이 있는 것은 disparity가 큼
위의 이미지가 Stereo Camera로 촬영해 얻은 Left Right Image로 같은 이미지이지만 위치가 조금씩 다름. 궁극적으로 Depth를 추정하기 위해서는 Left Image와 Right Image가 모두 필요하며, 두 Image의 차이인 disparity(시차)를 구해야 함.
요약하자면, Stereo Depth Estimation은 Left Image와 Right Image의 disparity를 구해서 그 값을 이용해 Depth를 구하면 됨
Mono Depth Estimation
Mono Depth를 추정하기 위해서 네트워크에 하나의 Image 즉,Left Image만을 넣음. 그러고 나서 Left Image를 통해서 2개의 Disparity를 뽑아냄. 이후 Loss에 Reconstruction Loss를 사용해
1. 현재 추정한 Left disparity와 Right Image를 이용해 Left Image를 Reconstruct하여 기존의 Left Image와 비교
2. Right disparity와 Left Image를 이용해 Right Image를 Reconstruct해서 기존의 Right Image와 비교
3. 이상한 disparity를 구했을 경우에 Loss를 크게 주어 정답에 가까운 disparity를 찾아가는 방식으로 진행됨.
- Reconstruct 의미
disparity를 통해서 Right Image 또는 Left Image의 pixel값 위치를 알 수 있음.
즉, Right disparity, Left disparity를 이용해서 Left Image, Right Image를 추정한다고 생각하면 됨.
