1. 작성 이유
: 우리는 object detection을 위해서 센서 신호의 품질이 저하되는 경우에도 양호한 물체 감지 정확도를 유지하는 강력한 물체 감지기를 개발하는 것을 목표로 한다. 따라 이를 위해서 두 개의 CNN 구조에 의해 생성된 feature maps의 contribution을 조정하는 gated fusion unit(GFU)를 제안한다.
GFU를 사용하여 제안된 물체감지기는 두가지 양식에서도 도출된 높은 수준의 feature map을적절한 가중치와 융합하여 강력한 성능을 달성할 수 있다.
2. 실험 과정
-
2개의 CNN을 사용해서 RGB image와 3D point cloud data의 transform으로 얻은 3 Channel LIDAR image를 처리한다.
-
2개 CNN 중간 level에서 생성된 feature maps가 결합되어 joint data representation을 생성한다.
-
robust sensor fusion이 가능하게 하기 위해서, 각 센서 데이터에서 추출된 정보의 양은 gated fusion unit(GFU)에 의해 조절된다.
-
여기서, gated fusion unit은 품질에 따라 feature maps을 결합하는데 사용되는 가중치를 생성한다.
3. Gated Fusion Unit(GFU)
: GFU는 기능을 결함하는 역할, 여러 개의 CNN에 의해 얻어진 높은 수준의 feature map은 선택적으로 robust sensor fusion을 달성하기 위해서 가중치를 부여
4. 결론
: KITTI object detection benchmark로 실험한 결과, 상당한 성능향상을 제공한다.
