3D perspective

• 현실은 3D라 현실 관련 task는 모두 3D를 다룸

• AR/VR, 3D printing, medical application 등 다양한 application이 존재

• Image는 3D를 2D로 투사(projection)한 형태

• Triangulation(삼각측량법)으로 2D image를 다시 3D로 구현할 수 있음
• 오른쪽은 이에 관련한 (거의 유일한) 서적

3D data representation

• 2D image는 pixel별로 값이 저장돼있음

• 하지만 3D는 표현방법이 정해져있지 않음

3D datasets

Indoor

ShapeNet

• 디자이너들이 가상으로 만든 image라 퀄리티가 좋고, 51300개로 양도 많은편

PartNet

• 각각 object의 detail이 annotate돼있음
• Detail part의 instance까지 구분돼있음

SceneNet

• Indoor image의 depth를 렌더링해서 같이 제공

ScanNet

• 실제 1500개의 indoor scan을 기반

Outdoor

• Outdoor dataset은 대부분 자율주행을 위한 자료

---

3D tasks

3D recognition

• 3D CNN을 이용

3D object detection

• 주로 자율주행에서 사용

3D semantic segmentation

• 3D mesh를 파트, 기능별로 분류

Conditional 3D generation

• 2D image를 입력해서 3D mesh를 출력

• Mask R-CNN의 head를 mesh 형태로 변경해서 구현

• Bbox, class, mask 이외에 3D branch를 추가로 생성

• 3D object problem을 physically meaningful한 sub-problem으로 세분화

• 2D image가 주어지면 CNN의 multi task head를 이용해 depth, silhouette(mask), normal(surface)를 추정하고, 이것들을 이용해 full-3D를 만듬

---

Reference

---

Further reading

• Mesh R-CNN : https://arxiv.org/abs/1906.02739