[Point Review] LED2-Net: Monocular 360◦ Layout Estimation via Differentiable Depth Rendering

김경준·2022년 6월 28일
0

Point Review

목록 보기
14/26

Contribution

HorizonNet과 같은 기존의 Layout estimation 모델들은 2D Panorama 상에서의 좌표로 loss를 정의하지만 2D 상에서 동일한 오차가 서로 다른 depth value를 가지게 된다.
-> "horizon depth를 활용하자"

Methods

  • 벽과 floor/ceiling과의 경계에 해당하는 좌표의 집합 Qf,Qc\mathbb{Q}^f, \mathbb{Q}^c를 구한다.
  • Unit sphere 상에서의 cartesian 좌표계로 변환하여 P^f,P^c\hat{\mathbb{P}}^f,\hat{\mathbb{P}}^c로 정의한다.

    S(θ,ϕ)=(px,py,pz)px=cos(ϕ)sin(θ)py=sin(ϕ)pz=cos(ϕ)cos(θ)\begin{aligned} &S(\theta, \phi)=\left(p_{x}, p_{y}, p_{z}\right) \\ &p_{x}=\cos (\phi) \cdot \sin (\theta) \\ &p_{y}=\sin (\phi) \\ &p_{z}=\cos (\phi) \cdot \cos (\theta) \end{aligned}

  • P^\hat{\mathbb{P}}의 모든 점들을 boundary로 projection 한다. RR는 카메라의 높이와 카메라 center로부터 천장까지의 거리의 비율을 의미한다.

    pif=p^if1.6p^if(y),pic=p^ic1.6Rp^ic(y)\begin{aligned} p_{i}^{f} &=\hat{p}_{i}^{f} * \frac{1.6}{\hat{p}_{i}^{f}(y)}, &p_{i}^{c} =\hat{p}_{i}^{c} * \frac{-1.6 R}{\hat{p}_{i}^{c}(y)} \end{aligned}

  • yy축의 unit vector인 y^\hat{y}와 boundary 좌표의 벡터를 외적하여 벽의 normal vector n\vec{n}을 구한다. tit_i는 plane 방정식의 offset을 의미하며 NN개의 벽에 대한 plane 방정식 집합 {Wi}i=1N\{W_i\}_{i=1}^N을 구한다.
  • MM개의 ray와 wall plane의 교차점을 통해 horizon-depth map을 얻는다.

    dj,if=tifujnifd_{j, i}^{f}=-\cfrac{t_{i}^{f}}{\vec{u}_{j} \cdot \vec{n}_{i}^{f}}

  • Loss function으로는 L1 loss를 사용한다.
    L=DfDˉ1+DcDˉ\mathcal{L}=||D^f-\bar{D}||_1+||D^c-\bar{D}||

Results

Reference

0개의 댓글