[CV] Feature Pyramid Networks for Object Detection(FPN) review

강동연·2022년 1월 18일

[Paper review]

목록 보기

5/17

🎈 본 리뷰는 FPN 및 리뷰를 참고해 작성했습니다.

Key words

🎈 Feature Pyramid Networks
🎈 Bottom-up, Top-down Pathways
🎈 High,low Resolution & Low,High-level Features
🎈 FPN with Faster R-CNN

Introduction

✔ Feature Pyramid Networks(FPN)의 기존의 feature pyramids와 다른 새로운 패러다임을 제시합니다. FPN은 독자적인 Object detection 모델은 아닙니다. 그렇기에 본 논문에서는 FPN을 사용한 Faster R-CNN을 제시합니다.

✔ 기존의 feature pyramids는 Fig 1 (a)와 같은 형태를 가지고 있습니다. 이러한 feature pyramids는 "scale-invariant" 라는 특징을 가지고 있습니다. "scale-invariant" 라는 것은 객체의 scale이 변함에도 객체의 특징이 변하지 않는다는 특징입니다.

✔ 기존의 feature pyramids는 너무 무겁기에 사용하기 어렵습니다. 그것에 대안으로 Fig 1 (b)의 형태인 ConvNets가 제시되었습니다. ConvNets도 역시 매우 robust하다는 특징을 가지고 있지만, 기존의 pyramids가 더 좋은 정확도를 예측합니다.

✔ 본 논문에서는 ConvNets 역시 내재된 mutli-scale. 즉, 피라미드 형태라고 말합니다. 하지만 High-resolution maps(=Low-level Feature)과 low-resolution maps(=High-level Feature)로 인해 large sematic gap 차이가 납니다. 본 논문의 목표는 방금 언급한 large sematic gap을 줄여 모든 scale에서 strong semantic feature pyramid를 만드는 것이 목표입니다. Fig 1 (d)가 모든 level에서 rich semantic을 이루게 해주는 네트워크입니다.

✔ 본 피라미드 구조는 모든 scale에서 end-to-end 구조가 가능하고, memory-infeasible 합니다.

🎈 위의 사진은 High-resolution maps(=Low-level Feature)과 low-resolution maps(=High-level Feature)에 대해 보여주고 있습니다. Low-level Feature에서는 선과 edge와 같은 일부만 파악한다면, High-level에서는 바퀴와 같은 구체적인 객체에 대해 분석하고 있습니다.

Feature Pyramid Networks

✔ FPN은 single-scale의 임의 이미지를 입력으로 받고, 사이즈에 비례한 multiple level의 feature map을 반환합니다. 이 과정은 backbond Conv 구조와는 독립적인 과정입니다. 본 논문에서는 ResNet을 사용했습니다. 본 피라미드 구조는 bottom-up pathway, top-down pathway and lateral connection 3가지 방법으로 구성되어있습니다.

✔ Bottom-up pathway는 backbone ConvNet을 순전파 계산하는 것입니다. 본 논문에서는 같은 map size를 output하는 layer들은 같은 네트워크 스테이지라고 부릅니다. 그리고 각 스테이즈의 마지막 층을 reference set of feature map으로 지정합니다. 이것은 당연한게 각 스테이지에서 가장 깊은 레어어가 가장 강한 feature을 가지고 있기 때문입니다.
✔ Bottom-up pathway는 아래 그림과 같이 각각의 {C2,C3,C4,C5} last residul block을 가지고 있습니다.

✔ Top-down pathway는 High-level feature에서 upsampling과 lateral connection을 통해 내려오는 과정입니다. 1x1 conv layer을 통해 256 채널을 맞춰줍니다. 각 pyramid level의 feature map을 2배로 upsampling해주면 바로 아래 level의 feature map와 크기가 같아집니다. upsampling의 경우 nearest neighbor upsampling을 사용합니다. upsampling된 feature map과 1x1 conv layer로 사이즈와 채널이 같아진 feature map을 element-wise addtion 연산을 진행합니다. 이를 latertal connection이라고 부릅니다. 이후 3x3 Conv layer를 연산을 적용에 upsampling의 alias를 줄이고, {p2, p3, p4, p5} 라고 부릅니다.

✔ FPN의 방식은 single-scale를 input으로 받기에, 기존의 피라미드 모델보다 효율적이며, multi-scale feature map을 출력하기에 높은 detection 성능을 보여줍니다. FPN은 High-resolution map은 low-level feature을 가지지만 높은 해상도로 정확한 위치를 가지고 있습니다. 이런 High-resolution map의 특징을 element-wise addition을 통해 전달해, 앞에서 언급한 semantic gap를 줄일 수 있습니다.

Applcations

Feature Pyramid Networks for RPN

✔ RPN 디자인은, 3x3 sliding window로 이루어진 작은 네트워크입니다. RPN은 region proposal을 추출하기 위한 네트워크로써, 자세한 내용은 Fast R-CNN 논문 참고 부탁드립니다. RPN에서 수행하는 object/non-object classification과 bounding box regression은 3x3 conv layer와 각각 1x1 conv layer로 이루어져 있고 우리는 이것을 "head"라고 부릅니다.

✔ 먼저 Backbone Network에서 FPN 과정을 수행해 { $32^2$ , $64^2$ , $126^2$ , $256^2$ , $512^2$ }를 가지는{p2,p3,p4,p5,p6}를 반환합니다. 기존의 RPN은 single-scale 이미지를 input으로 받지만, FPN을 사용함으로써 multi-scale 이미지를 input으로 받습니다. 그렇기에 5개의 multi-scale과 {1:2, 1:1, 2:1}인 3개의 aspect ratios 까지 총 15개의 anchors을 가진다고 합니다.

✔ 이후 앞에서 언급한 "head"의 과정을 거치고, NMS 과정까지 거처 top 1000 region proposals을 반환합니다.

Feature Pyramid Networks for Fast R-CNN

✔ 1000개의 region proposals을 사용하여 RoI pooling을 수행합니다. 하지만 Fast R-CNN과는 다르게 FPN을 적용한 Faster R-CNN은 multi-scale feature map을 사용하기 각각의 region proposals과 feature map을 매칭 시켜줘야합니다.

✔ 위의 식에 따라서 K번째 feature map과 region proposals을 매칭합니다. w,h는 region proposal의 width, height에 해당하면 , k는 피라미드의 level의 index, k0는 target level을 의미합니다. 논문에서 말하길 "직관적으로 region proposal의 scale이 작아질 수록 High-resolution feature map에 할당한다(낮은 피라미드 level)"고 말합니다.

✔ RoI pooling을 통해 얻은 고정된 feature map을 학습시키고 NMS을 적용해 결과를 출력합니다. 결과적으로 ResNet사용한 FPN + Faster R-CNN의 결과는 FPN을 사용하지 않았을 때보다 AP 8% 이상 향상되었다고 합니다.