Abstract
image-level, region-level, pixel-level을 예측하기 위해CNN(Convolutional Neural Network) 구조 설계의 기본 원리는 나뉘고 있다. 일반적으로 이미지 분류를 위해 특별히 설계된 네트워크 구조는 detection 과 segmentation을 포함한 다른 작업의 기본 구조로 직접 사용된다. 그러나 pixel-level or region-level 예측 작업을 위해 설계된 네트워크의 장접을 고려한 기본구조가 디자인 되지 않았다. 이것을 위해 FishNet이라는 물고기 같은 네트워크를 설계한다. 기존에 있는 것들이 아직도 gradient 정보를 deep layer에서 shallow layer로 직접적으로 propagate하지 못해서 이 문제를 해결하여 디자인했다.
1. Introduction
CNN은 컴퓨터 비전 분야에서 더 나은 기능을 학습하는데 효과적인 것으로 밝혀졌다. CNN이 더 깊어짐에 따라 최근 작업들은 개선하기 위해 특징들을 이전 레이어에서 id 매핑 또는 연결을 통해 재사용하거나 정제하도록 노력한다. 이미지 분류를 위한 네트워크는 연속적인 down-sampling을 사용하여 저해상도의 deep features를 얻는다. 그러나 저해상도의 features는 pixel-level또는 region-level에 적합하지 않는다. 고해상도의 shallow features 를 region, pixel-level에 직접 사용하는 것은 잘 작동하지 않는다. 고해상도로 deeper features를 얻기 위해서는 U-Net또는 모래시계 같은 네트워크를 사용해야 한다. 최근 논문에서는 개체 감지와 같은 region-level tasks는 up-sampling 메커니즘을 사용하면서 작은 개체가 상대적으로 고해상도의 기능으로 설명될 수 있도록 한다. 이것이 fish like network = FishNet이다. high level의 의미 정보를 갖고 있는 고해상도의 feature를 가능하게 한다.
※ FishNet 메커니즘의 3가지 장점
-
pixel, region, image-level 작업을 위해 설계된 네트워크의 장점을 통합한 최초의 backbone 네트워크이다. 순전히 이미지 분류를 위해 설계된 네트워크와 비교했을때 pixel, region-level 작업에 더 효과적이다.
-
gradient가 아주 깊은 layer에서 얕은 layer로 직접 전파되게 한다.
이 논문에서 'direct BP'라고 한다.기존에 존재하는 네트워크는 direct BP를 하지 못하는데 다른 해상도의 features사이의 convolutional layer 때문이다. identity mapping 또는 연결 없는 convolution은 얇은 layer의 출력에서 gradient를 저하 시킨다. FishNet은 이 문제를 매우 다른 깊이의 feature를 최종 출력에 연결하여 해결한다. feature의 중요한 의미론적 의미도 전체 네트워크에 걸쳐서 보존된다.
-
매우 다른 깊이의 features 가 보존되고 서로를 개선하는데 사용된다.
다른 깊이의 feature는 이미지의 추상화 수준을 다르게 갖고 있다. feature의 다양성을 향상 시키기 위해 모두 보관해야한다. 이 둘의 complementarity(상보성)으로 인해 서로 개선에 사용할 수 있다.
더 많은 width, depth를 만드는 것보다 더 효과적이다. 이것은 direct BP를 촉진한다.
※ FishNet 구조(3 part)
- Fish Tail : 기존 방법(CNN)을 사용하여 입력 이미지에서 깊은 저해상도 feature를 얻는다.
- Fish Body : 높은 수준의 의미 정보의 고해상도 feature를 얻는다.
tail과 body의 features를 개선하기위해 여러가지 up-sampling 및 블록 개선이 있다 - Fish Head : 3 part의 feature를 보존하고 개선한다. 3부분에서의 feature를 보존하고 개선하는 블록을 개선하기 위해 여러가지 down-sampling 및 개선이 있다.
