Computer Vision 의 가장 많이 다뤄지는 문제들은 아래와 같은 것들이 있다.
- Classification
인풋에 대해서 하나의 레이블을 예측하는 작업.
AlexNet, ResNet, Xception 등의 모델 - Localization / Detection
물체의 레이블을 예측하면서 그 물체가 어디에 있는지 정보를 제공. 물체가 있는 곳에 네모를 그리는 등
YOLO, R-CNN 등의 모델 - Segmentation
모든 픽셀의 레이블을 예측
FCN, SegNet, DeepLab 등의 모델
Image Segmentation
Image Segmentation task 는 전달하는 정보의 양과 그 유형에 따라서 세 그룹으로 분류가 가능하다.
- Semantic Segmentation
- Instance Segmentation
- Panoptic Segmentation
제일 먼저 Semantic Segmentation의 목적은 사진에 있는 모든 픽셀을 해당하는 (미리 지정된 개수의) class로 분류하는 것이다.
여기서, semantic segmentation 은 같은 class 의 instance 는 구별하지 않고 의미론적(semantic)으로만 구별한다.
이 때문에 이미지에 동일한 클래스의 여러 Instance 가 밀절한 경우 그룹화된다는 단점이 존재한다. 이는, 이미지에 대한
심층적인 세부 정보를 얻기 힘들다는 의미가 된다.
각 class 가 아닌 Instance 를 기반으로 분류하는 모델은 Instance segmentation 이라고 불린다.
좌 Semantic Segmentation / 우 Instance Segmentation마지막으로, Object 의 각 Instance 를 분리하고 Object 의 identity 를 예측하는, 즉 Semantic segmentation 과 Instance segmentation 의 조합이 바로 Panoptic Segmentation 이다.
자세한 내용은 아래 논문을 참고해보도록 하자
https://arxiv.org/pdf/1801.00868.pdf
encoder
decoder
[ref]
https://datagen.tech/guides/image-annotation/image-segmentation/
https://medium.com/hyunjulie/1%ED%8E%B8-semantic-segmentation-%EC%B2%AB%EA%B1%B8%EC%9D%8C-4180367ec9cb
https://medium.com/zylapp/review-of-deep-learning-algorithms-for-object-detection-c1f3d437b852
