Method

Output

• Room layout을 $y_w, y_c, y_f$에 대한 1D representation으로 나타낸다.

$y_f$: 벽과 floor 사이의 boundary에 대한 좌표
$y_c$: 벽과 ceiling 사이의 boundary에 대한 좌표
$y_w$: 벽과 벽 사이의 boudary에 대한 확률값. $y_w(i)=c^{dx}$
$c=0.96,dx:$가장 가까운 boundary까지의 거리

Network

• ResNet50의 각 block에서 나오는 half resolution의 feature map들로부터 feature를 뽑아 concat 한다.
• Low-level과 high-level의 feature를 모두 뽑아내기 위해 4x1, 2x1, 2x1의 커널 사이즈와 stride를 가지는 3개의 convolution layer를 거치며 channel과 height가 각각 1/8, 1/4로 줄어든다.
• 코너는 다른 코너에 의해 예측할 수 있으므로 패턴과 long-term dependencies를 학습하는 RNN을 활용한다.
• Cell state에 다른 영역에 대한 예측을 위한 정보가 담겨있기 때문에 occlusion region에 대한 예측이 가능하다.

Reference

• https://arxiv.org/abs/1901.03861