[2022 IEEE Access] CATFPN: Adaptive Feature Pyramid With Scale-Wise Concatenation and Self-Attention

Hyungseop Lee·2025년 3월 5일
0
post-thumbnail

Paper Info.

https://ieeexplore.ieee.org/document/9447743


Abstract

  • heuristic feature fusion strategies에 기반한 FPN은 may be suboptimal이다.
    이 논문에서, 우리는 a novel FPN named CATFPN
    that consists of Scale-Wise Feature Concatenation (SWFC) module and Global Context (GC) block을 제안한다.

1. Introduction

  • SSD는 one of the first attempts to use pyramidal feature representation in deep detectors이다.
    비록 SSD가 the detection in a wide range of scale variation을 향상시켰을지라도,
    pyramidal features를 강화시킬 수 있는 levels들 간의 information interaction을 무시했다.

  • SSD의 disadvantages를 없애고자,
    FPN은 (low-resolution and sematically strong feature)과 (high-resolution and semantically weak features)을 layer by layer combine하는
    top-down pathway를 추가했다.

(문제점)

  • FPN의 top-down pathway는 adjacent levels의 feature maps을 linearly merges하는데,
    the highest-level features는 the lowest-level features에 only have a limited impact만 줄 수 있다.
    반대로, the top layers는 bottom layers로부터 useful signals을 access할 수 없다.
    The lack of sufficient information interaction은 the uneven (불안정한) distribution of semantic features in each layer를 초래한다.

(제안)

  • 이 논문에서,
    우리는 adaptive cross-scale feature fusion을 달성하기 위해 CATFPN이라는 a novel FPN을 제안한다.
    우리는 up-sampling and down-sampling을 통해 서로 다른 resolutions에서의 features maps에 대해, multiple feature pyramids를 만들었다.
    그리고나서, 우리는 서로 다른 feature pyramids로부터 same resolution의 feature maps들을 concatenate했다.

2. Related Work

Hand-Engineered Feature Pyramids

SIFT, HOG, ....
real-time apps에 적합하지 않은 많은 양의 imges를 computation하는 방법.

Deep Object Detectors

  • RCNN, SPPNet, Fast R-CNN, Faster R-CNN, YOLO, SSD, RetinaNet, ...

Deep Feature Pyramids

  • FPN, PANet, NAS-FPN, ...

3. Our Approach

Scale-Wise Feature Concatenation (SWFC)

Global Attention

  • Global Context (GC) block

The Workflow of CATFPN


4. Experiments

CATFPN을 쓴 model의 성능이 그렇게 좋아지진 않았는데...?

profile
Efficient Deep Learning

0개의 댓글