Segmentation

Segmentation은 하나의 이미지에서 같은 의미를 지닌 것들을 구분해내는 일로 주로 의료 이미지, 자율주행, 위성 및 항공 사진 등의 분야에서 많이 사용하고 있다.

Segmentation은 위의 사진처럼 동일한 의미를 지닌 것마다 같은 색으로 레이블링되며 픽셀 단위에서 레이블을 예측한다.

Instance Segmentation

위에서 언급한 Segmentation은 가운데 사진처럼 의미가 같은 개체에 대해서 모두 동일한 라벨링을 해주는 Semantic Segmentation이다. 위의 사진에서 제일 오른쪽에 있는 사진은 바로 Instance Segmentation으로 같은 개체라도 각각 다른 레이블로 레이블링 해주는 것을 Instance Segmentation이라고 한다.

FNC (Fully Convolutional Networks)

FNC은 2015년에 등장한 모델로 CNN의 완전 연결 신경망(Fully Connected Layer) 부분을 Conv 층으로 대체한 모델이다.

Segmentation은 픽셀 단위로 분류가 이뤄지기 때문에 위치 정보를 끝까지 보존해야 하는데 기존 CNN의 완전 연결 신경망은 위치 정보를 무시하기 때문에 이를 Conv 층으로 대체해 문제를 해결했다.

위의 그림에서 맨 마지막 층을 보면 갑자기 그림의 크기가 커지는데 이것을 바로 Upsampling이라고 한다.

Upsampling & Downsampling

Downsampling은 위의 과정에서 그림의 크기가 점점 줄어드는 것을 확인할 수 있는데 이 과정을 Downsampling이라고 한다. 이 과정은 Convolution과 Pooling을 사용해서 이미지의 특징을 추출하는 과정이다.

Downsampling과는 반대로 Upsampling은 줄어든 이미지의 크기를 다시 원래의 이미지 크기로 키우는 과정이다.

U-net

U-net은 Downsampling과 Upsampling 구간으로 나눌 수 있다. Downsampling 구간은 인코더라고도 하고, Conv와 Max pooling을 거치면서 이미지의 특징을 추출한다. Downsampling을 거치고 나면 feature map의 수는 적어지고 채널의 수는 증가한다.
Upsampling 구간은 디코더라고도 부르고, Conv와 Transpose Convolution을 거치면서 원본 이미지와 비슷한 크기로 줄어든 이미지를 복원한다. 추가적으로 이미지를 원래의 크기로 복원할 때 위치 정보가 흐트러질 수도 있으니 Downsampling에서 출력으로 나왔던 feature map을 적당한 크기로 잘라서 붙여준 뒤 추가 데이터로 사용한다. (= Upsampling의 결과가 좀 더 원본과 비슷할 수 있도록 도와줌)

객체 탐지 / 인식 (Obejct Detection/Recognition)

객체 탐지/인식에서는 전체 이미지에서 레이블에 맞는 객체를 찾아내는 일을 한다. Segmentation과 더불어 자율주행을 위한 주요 기술로 활용되고 있다.

객체의 경계에 BBox(Bounding Box)를 만든 후 박스 안의 객체가 속하는 클래스가 무엇인지 분류한다.

IoU (Intersection over Union)

BBox를 평가하는 지표는 IoU이다.

IoU를 사용하면 객체가 포함되어 있긴 하지만 범위가 너무 큰 경우를 해결할 수 있다. 위의 공식은 0과 1 사이의 값이 나오고 1에 가까울수록 BBox가 잘 그려졌다고 평가한다.

Two Stage Detector

Two Stage Detector는 총 두가지 작업을 하는데 먼저 객체의 영역을 파악하고 나서 해당 객체를 분류하는 작업을 한다. 대표적인 모델로는 R-CNN 계열의 모델이 있다.

One State Detector

One Stage Detector는 두가지 작업(객체 영역 파악 + 객체 분류)을 한번에 처리한다. 대표적인 모델로는 SSD 계열과 YOLO(You Only Look Once) 계열의 모델이 있다.