Instance/Panoptic Segmentation

instance segmentation이란?

instance segementation: 객체탐지 but background 탐지 못함

semantic segmentation: 객체탐지 + background구분

Panoptic segmentation: 객체탐지 + 각 instance+ background도 구분

Instance segmentation

Mask R-CNN

기존 ROI(region of interest) pooling → ROI Align(소수점 pixel에 대해 pooling을 할 수 있다.)

각 box마다 80개의 class에 대한 mask를 생성하고 결정되는 boundary box의 class에 따라 80개중 하나의 mask사용한다.

YOLACT(You Only Look At CoefficienTs)

realtime 가능하다.

backbone으로 Feature Pyramid Nets구조를 사용한다.

모든 class에 대해 mask수행이 아닌 mask의 prototype을 추출해 사용한다.

prediction head에서 결정된 mask coefficient에 따라 prototype을 combination한다.

YOLactEdge

YOLACT와 구조가 유사하다.

이전 프레임의 feature를 다음 프레임에 전당하여 계산량을 줄였다.

mask가 떨리는 한계점이 있다.

Panotic segmentation

배경+instances of things

UPSNet

Panoptic Head

배경을 나타내는 Xstuff는 최종출력으로 바로 들어간다.

Xmask를 instance bounding box부분과 합쳐서 출력한다.

unknown class 정보를 output에 한층 추가한다.

VPSNet(for video)

이전 frame의 feature을 target frame의 featuremap에 align한다.

현재프레임과 이전 프레임의 정보를 모두 사용해 현재 프레임의 roi feat를 결정할 수 있다.

나머지는 UPSNet과 같다.

참고: boostcamp ai tech 4기 cv강의