[Point Review] HorizonNet: Learning Room Layout with 1D Representation and Pano Stretch Data Augmentation

kimkj38·2022년 4월 29일
0

Point Review

목록 보기
9/12

Method

Output

  • Room layout을 yw,yc,yfy_w, y_c, y_f에 대한 1D representation으로 나타낸다.

yfy_f: 벽과 floor 사이의 boundary에 대한 좌표
ycy_c: 벽과 ceiling 사이의 boundary에 대한 좌표
ywy_w: 벽과 벽 사이의 boudary에 대한 확률값. yw(i)=cdxy_w(i)=c^{dx}
c=0.96,dx:c=0.96,dx:가장 가까운 boundary까지의 거리

Network

  • ResNet50의 각 block에서 나오는 half resolution의 feature map들로부터 feature를 뽑아 concat 한다.
  • Low-level과 high-level의 feature를 모두 뽑아내기 위해 4x1, 2x1, 2x1의 커널 사이즈와 stride를 가지는 3개의 convolution layer를 거치며 channel과 height가 각각 1/8, 1/4로 줄어든다.
  • 코너는 다른 코너에 의해 예측할 수 있으므로 패턴과 long-term dependencies를 학습하는 RNN을 활용한다.
  • Cell state에 다른 영역에 대한 예측을 위한 정보가 담겨있기 때문에 occlusion region에 대한 예측이 가능하다.

Reference

0개의 댓글