1. 개요

Segmentation 종류

- Task 정의

• Semantic segmentation: 입력 영상의 픽셀 단위로 object의 종류를 분류하는 task
• Instance segmentation: 입력 영상에서 사물(보행차, 차량 등)을 분류함과 동시의 각 instance(보행자1, 보행자2, ...)를 구별하는 ID를 부여
• Panoptic segmentation: Semantic segmentation과 instance segmentation을 결합한 형태이며, 하늘과 건물 같이 instance를 구분하기 어려운 물체(stuff)에 대해서는 class만 분류하는 segmentation segmentation을, 보행자와 차량 같이 instance를 구별할 수 있는 사물(things)에 대해서는 instance segmentation을 수행함

- 주요 Metrics

• Segmentation task는 pixel별로 classification을 수행하거나 각 사물의 위치를 찾는다는 점에서 image classification, object detection 등과 metric이 비슷함

• 논문 별, dataset 별 평가 지표가 상이함

• Pixel accuracy: 결국 semantic segmentation은 pixel별로 classification을 수행하는 작업이며, 따라서 각 pixel 별 예측 결과가 GT와 일치하는 지 여부를 통해 accuracy를 계산할 수 있음. 아래에서 $p_{ij}$는 실제로 i라는 class에 해당하는 pixel 중 j class라고 예측한 pixel의 갯수임

• IoU: Segmentation에서도 object detection과 비슷하게 IoU를 계산할 수 있으며, bounding box 대신 pixel mask를 비교함. Class별로 계산할 수 있으며, 모든 class에 대해 평균을 구하여 mIoU 지표로 활용할 수 있음.

• Dice Coefficient: segmentation에서의 F1 score이며, 예측된 mask(=A)와 GT에서 주어진 mask(=B)를 사용하여 다음과 같이 계산. Class별로 계산할 수 있음

• mAP: object detection에서와 같이 구할 수 있으며, bounding box 대신 각 객체별 pixel mask를 사용함. Instance segmentation는 object detection과 같이 각 사물 별 영역을 구할 수 있기 때문에 mAP가 주로 사용됨.

COCO dataset instance segmentaiton 평가 방법

• Panoptic Quality(PQ): Panoptic segmentation 논문에서 제시한 평가 지표이며, 아래 그림과 같이 TP, FN, FP를 정의하고 다음의 식과 같이 계산.

Panoptic Quality 계산 개념

2. 주요 연구

U-net

목표

Method

특징

Mask R-CNN

목표

Method

특징

YOLACT(You Only Look At CoefficienTs)

목표

Method

특징

Solo

목표

Method

특징

Panoptic Segmentation

목표

Method

특징

STEGO

목표

Method

특징