Semantic Segmentation

하늘, 바다, 사람, 땅 등 어떤 클래스인지만 분류
U-Net, SegNet, DeepLab, PSPNet, FCN

FCN

Fully Convolution Network
FCN+CRF(Conditional Random Field) : 결과 개선

SegNet

Upsample with corresponding pooling indices

U-Net

Dense concatenation with encoder features

DeepLab

Deep Convolutional Neural Network
Coarse Score map
Bi-linear Interpolation
Fully Connected CRF

Dilted convolution

Remove last few pooling operation for a dense prediction
Introduce dilated convolution to utilize the ImageNet pre-trained model

Large FOV

Dilated convolution with large rate can capture features with a large field of view

Multi-scale Prediction

Jump connection for more precise boundaries

Fully connected CRF

Refine boundaries

PSPNet

Pyramid Scene Parsing Network
Pyramid pooling / deep supervision

RefineNet

Fuse multiple strides
Residual pooling

Evaluation

Pixel Acc
mIoU

Instance Segmentation

특정 관심있는 객체들 정보
Mask R-CNN, YOLACT, BlendMask, Detection2, SOLOv2

Proposed-based

MNC

Instance sensitive FCN

Position sensitive maps
Pooling within fix-size window

FCIS

Enhanced position-sensitive map

Mask R-CNN

PANet

Path augmentation
Adaptive feature pooling
Heavier mask head

YOLACT

You Only Look At CoefficienTs
real-time이 가능한 single-stage 구조의 대표 instance segmentation 모델
기본 backbone 구조는 feature pyramid 사용 $\rarr$ 고해상도 feature map 사용 가능
mask prototype을 가져와서 사용
prototype은 mask는 아니지만 mask를 합성해 낼 수 있는 기본적인 soft segmentation component들 생성
prediction head에서는 protonet의 output인 prototype들의 합성을 돕는 계수들 출력
계수들과 prototype들을 선형결합 후 각 detection에 적합한 mask response map assembly

YOLACTEdge

소형화된 edge 모델로 구현하기 위해 개선된 모델
keyframe의 feature를 다음 frame에 전달해서 특징 맵의 계산량을 획기적으로 줄인 architecture
소형화된 모바일 등에서도 빠른 속도로 동작하면서 성능은 기존 방법과 유사하게 확보할 수 있는 모델들이 개발

proposal-free

proposal-free network
InstanceCut

SGN

Sequential Grouping Networks

Evaluation

AP50
mAP

Panoptic Segmentation

Segmentation + Instance
Panoptic FPN, UPSNet,SipMask, EfficientPS, BlendMask