Info

• paper : Feature Pyramid Networks for Object Detection
• author : Tsung-Yi Lin, Piotr Dollár, Ross Girshick, Kaiming He, Bharath Hariharan, Serge Belongie
• subject : 2017 IEEE Conference on Computer Vision and Pattern Recognition (CVPR)

Abstract

• Feature pyramids는 다양한 scale에 대해 object를 detecting하는 recognition system의 basic component임.

• 하지만 compute and memory intensive이기 때문에
  최근 deep learning object detector들은 pyramid representation을 쓰지 않음.

• 이 논문에서는 multi-scale에 좋은 deep conv network의 pyramidal hierarchy를 소개할 것이다.

  • A top-down architecture with lateral connection은 모든 scale에 대해
    high-level semantic feature maps을 만들 수 있도록 개발되었음.
    이 architecture를 Feature Pyramid Network (FPN)이라고 부름.

1. Introduction

• computer vision에서 매우 다양한 scale의 object를 recognizing하는 것은 기본적인 challenge이다.
  
  • (a) :
    Feature pyramids built upon image pyramids(= featurized image pyramids)는
    object의 scale 변화가 그것의 pyramid 내에서 level을 이동함으로써 보정된다는 의미에서
    scale-invariant하다.
    featurized image pyramid는 era of hand-engineered features에서 아주 잘 사용되었었는데,
    각 image의 scale에서 독립적으로 feature들이 계산되어야 하기 때문에 매우 느리다.
    따라서 deep convolutional networks(ConvNets)으로 대체되었다.
  • (b) :
    Recent detection systems(ConvNets)도 variance에 robust하고,
    single input scale에 대해서 recognition을 잘 한다.
    하지만, ImageNet과 COCO detection callenges에서는 multi-scale testing을 하기 때문에
    아직은 더 accurate results가 필요하다.
  • (c) :
    featurizing each level of an image pyramid의 주요 이점으로는
    all levels에서 semantically strong하다.
    그럼에도 불구하고 명백한 단점이 있다.
    inference time이 상당히 증가한다는 것이다.
    또한 image pyramid를 사용하여 end-to-end로 network를 train시키는 것은
    memory 측면에서 infeasible하다.
    그래서 이를 활용하는 경우, image pyramid는 inference time에서만 사용된다.
    이는 train/test 시간 inference 간의 inconsistency를 만든다.
    
    또한 image pyramids는 multi-scale feature representation을 계산하기 위한 방법으로만 사용되지 않는다.
    deep ConvNet은 layer마다 feature hierarchy를 계산하고,
    subsampling layer로 feature hierarchy에는 내재적인 multi-scale, pyramidal shape이 있다.
    이 network 안의 feature hierarchy는 different spatial resolution의 feature map을 생성하지만,
    서로 다른 depth로 인한 큰 semantic(의미적) gap을 만든다.
    high-resolution maps는 object recognition을 위한 representational capacity를 손상시키는 low-level feature를 갖고 있음.
    (즉, 초기 high-resolution maps을 갖는 초기 conv layer에서 low-level feature가 model의 성능을 해칠 수 있음)
    
    SSD model에서 ConvNet's pyramidal feature hierarchy를 처음으로 사용했음.
    SSD는 위에서 말한 high-resolution maps이 low-level feature를 갖고 있어서
    model의 성능을 해치는 단점을 극복하기 위해 low-level feature 사용을 하지 않았음.
  • (d) :
    이 논문의 목표는 pyramidal shape of a ConvNet's feature hierarchy을 자연스럽게 활용하면서,
    모든 scale에 strong semantic을 갖도록 하는 feature pyramid를 만드는 것임.
    우리는 우리의 method를 Feature Pyramid Network(FPN)이라고 부른다.
    our pyramid structure는 모든 scale에 대해서 end-to-end train이 가능하고
    train/test time에 memory-infeasible하게 지속될 수 있다.
    또한 single-scale baseline에 비해 testing time 증가 없이 start-of-the-art를 달성했다.
    

2. Related Work

Hand-engineered features and early neural networks

• SIFT features, HOG features, ...

Deep ConvNet object detectors

• OverFeat, R-CNN, Fast R-CNN, Faster R-CNN ...
  하지만 Multi-scale detection still performs better, especially for small objects.

Methods using multiple layers

• Several other approahces(HyperNet, ParseNet, ION ....) concatenate features of multiple layers before computing predictions

• There are recent methods exploiting lateral/skip connections that associate low-level feature maps across resolutions and semantic levels, including U-Net [31] and Sharp- Mask [28] for segmentation, Recombinator networks [17] for face detection, and Stacked Hourglass networks [26] for keypoint estimation.....

• 비록 위 method들은 pyramidal shape을 적용했지만,
  prediction이 모든 level에서 독립적으로 이루어지는 featurize된 image pyramid와는 다르다.
  실제로, Figure 2(top)의 pyramidal architecture에서는
  여전히 여러 scale에서 object를 인식하기 위해 image pyramid가 필요하다.

3. Feature Pyramid Networks

• 우리의 목표는 ConvNet의 pyramidal feature hierarchy를 활용하여,
  low level부터 high level까지 semantics(의미론적 특징)을 갖추고 있는 feature pyramid를 만드는 것이다.

• 우리의 Feature Pyramid Network는 arbitrary(임의의) size의 single-scale image를 convolutional network에 입력하여,
  multiple levels에 적절하게 size된 feature maps을 출력하는 network이다.

• 이 process는 backbone convolutional architecture에 독립적이다.
  그리고 이 논문에서는 ResNet을 사용했다.

• FPN 구조는 bottom-up pathway, top-down pathway, lateral connections로 구성되었다.

Bottom-up pathway

• bottom-up pathway는 backbone ConvNet의 feedforward computation이고,
  scaling step of 2로 만들어진 몇 가지 scale을 갖는 feature map으로 구성되어 있다.
  
  • There are often many layers producing output maps of the same size
    and we say these layers are in the same network stage.
  • We choose the output of the last layer of each stage
    as our reference set of feature maps, which we will enrich to create our pyramid.
  • we use the feature activation output by each stage's last residual block.
    We denote the output of these last residual blocks
    as {$C_2, C_3, C_4, C_5$} for conv2, conv3, conv4, conv5,
    and note that they have strides of {${4, 8, 16, 32}$} pixels with respect to the input image.

Top-down pathway and lateral connections

• top-down pathway는 공간적으로 coarser(굵다)하지만,
  의미적으로 더 강한 feature maps from higher pyramid levels을
  upsampling하여 higher resolution features을 만들어낸다.
  * simplicity를 위해 nearest neightbor upsampling 방법으로
  spatial resolution을 2배로 upsamplling한다.
  
  
• 그런 다음에,
  이 features들은 lateral conection으로 인해
  bottom-up pathway로부터의 feature가 강화된다.
  • each lateral connection들은 bottom-up pathway와 top-down pathway로부터
    same spatial size의 feature maps을 merge한다.
  • upsampled map은 channel dimension을 줄이기 위해
    1×1 conv layer를 거친 bottom-up map과 element-wise addition을 통해 merge된다.
  • 이 과정은 finest resolution map이 생성될 때까지 반복된다.
    • To start the iteration,
      we simply attach a 1 x 1 conv layer on $C_5$ to produce the coarsest resolution map.
    • Finally, we append a 3 x 3 conv on each merged map to generate the final feature map, which is to reduce the aliasing effect of upsampling.
    • This final set of reature map is called {$P_2, P_3, P_4, P_5$}
    • feature pyramid의 모든 featuer map은 동일한 classifier/regressor를 공유하므로,
      모든 Feature map의 dimension $d = 256$으로 세팅.
      
• 위의 과정을 통해 FPN은 single-scale image를 입력하여 4개의 서로 다른 scale을 가진 feature map을 얻을 수 있다.
  (사진 출처 : https://herbwood.tistory.com/18)