[AI] Segmentation

🧭 AI Study - 컴퓨터 비전

🚩 주제 : Image Segmentation

🧩 2023 OUTTA AI 부트캠프 딥러닝반 Lecture 6

2023 OUTTA AI 부트캠프에 참여하며, 강의로 수강한 주제인 Image Segmentation의 내용에 대해 다시 정리해보았다.

Segmentation

이미지는 픽셀로 이루어진다. 컴퓨터비전 분야에서 Segmentation은 이미지의 모든 픽셀을 class 혹은 객체로 분류 및 탐지를 하는 task를 말한다. 각 픽셀에 label을 할당하여 모든 픽셀이 올바른 class 혹은 object에 속하도록 분류한다. 이러한 분류를 통해 픽셀과 label을 연결한 segment map이 생성된다.

Image Classification vs Image Segmentation

• Image Classification : 이미지 전체가 어떤 label 혹은 class에 속하는지 분류하는 task이다. 예를 들어 고양이 사진이 있을 때 그것이 고양이가 맞는지 아닌지 분류하는 작업이다.
• Image Segmentation : 이미지 내의 어떤 픽셀이 어떤 종류의 object 혹은 class에 속하는지 라벨링한다. 예를 들어 자동차와 사람이 있는 이미지가 있을 때 이미지에서 자동차와 사람이 있는 픽셀을 분류해 내는 작업이다.

Image Segmentation 종류

Image Segmentation의 종류는 Sementic Segmentation과 Instance Segmentation이 있다. Sementic Segmentation은 class는 구별하지만 같은 class내에 속하는 instance를 분류하지는 않는다. Instance Segmentation은 class와 instance를 분류한다.

https://nirmalamurali.medium.com/image-classification-vs-semantic-segmentation-vs-instance-segmentation-625c33a08d50

++ 위 이미지 추가 설명
Classification + Localization
이미지 내에서 객체의 class를 분류하고 해당 객체가 이미지의 어느 부분에 위치하는지를 나타내는 bounding box를 생성하는 것이다. 이때 객체는 한 종류의 객체일 경우에만 수행이 가능하다.

Object Detection
이미지 내에서 객체의 class를 분류하고 해당 객체의 위치를 찾을 수 있다. 이때 여러 객체가 있다면 객체의 종류까지 분류할 수 있다.

Sementic Segmentation

Sementic Segmentation을 수행하려면 어떻게 해야할까? 모든 픽셀을 분류하는 모델을 사용할 수 있을 것이다. 그러나 이러한 방법은 연산의 횟수가 너무 많아져서 비효율적이다. 그래서 Bilinear Interpolation을 사용한다.
여기서 Interpolation이란 알려진 값을 이용하여 다른 값을 추정하는 것이다. 이를 Segmentation에 적용하면, 특정 픽셀을 학습하고 학습되지 않은 픽셀들은 보간법으로 값을 추정하는 방식을 사용할 수 있다. 보간법을 사용하면 연산량과 학습시간을 줄일 수 있어서 효율적이다.

Interpolation

Linear Interpolation

• 선형 보간법
• 두 점의 값이 주어지면 그 사이의 위치한 값을 추정하기 위해 계산하는 방법이다.

https://ko.wikipedia.org/wiki/%EC%84%A0%ED%98%95_%EB%B3%B4%EA%B0%84%EB%B2%95

Bilinear Interpolation

• 이중 선형 보간법
• 1차원의 선형 보간법을 2차원으로 확장한 것이다.
• 한 방향으로 1차원 선형 보간을 적용하고 다른 방향으로 한 번 더 적용한다.

https://en.wikipedia.org/wiki/Bilinear_interpolation

Bilinear Interpolation 예제

Sementic Segmentation 모델

모델의 마지막 Layer에 Fully Connected Layer를 사용하면 Tensor를 1차원 벡터로 Flatten 해야하기 때문에 Object의 위치정보를 잃게된다. 따라서 VGG, Resnet 등의 Fully Connected Layer를 사용하는 Classification 모델은 Sementic Segmentation에 적합하지 않다.

위치정보 소실문제를 극복하기 위해 Downsampling(인코더)과 Upsampling(디코더) 기술을 활용한다. Downsampling은 입력받은 이미지 데이터의 차원을 벡터로 줄이는 과정으로, Convolution과 Pooling을 사용한다. Upsampling은 Downsampling으로 줄어든 데이터의 차원을 다시 원래크기로 확장하는 과정으로, Transpose Convolution을 사용한다.

Downsampling, Upsampling 구조를 사용하는 모델은 FCN, DeepLab, U-Net이 있다.

Transpose Convolution
Transpose Convolution을 사용하면 작은 사이즈의 input 데이터의 크기를 늘릴 수 있다. 아래 예제처럼 input의 한 픽셀과 kernel의 값을 곱하고 결과를 더해서 차원을 늘리는 방식이다.

https://d2l.ai/chapter_computer-vision/transposed-conv.html

FNC(Fully Convolutional Network for Semantic Segmentation)

https://medium.com/@mohit_gaikwad/overview-fully-convolutional-network-for-semantic-segmentation-b4ef92eeb8c4

AlexNet, VGG16 등의 CNN기반 모델에서 Sementic Segmentation을 위해 변화시킨 모델이다. 특징은 아래와 같이 정리할 수 있다.

• VGG16 모델의 마지막 layer를 1 by 1 convolution layer로 대체하였다. (fully connected layer를 convolution layer로 변경함)
• VGG16으로부터 Transfer Learning을 사용한다.
• Skip Connection 구조를 사용한다.

Transfer Learning

Transfer Learning(전이 학습)은 어떤 문제를 해결하기 위해 사용한 네트워크를 다른 task 및 데이터셋에 시작점으로 재사용하는 학습 방법이다. 전이학습을 수행하면 이전에 비슷한 문제를 해결하기 위해 사용한 모델의 패턴 등을 재사용할 수 있기 때문에 속도와 정확도를 높일 수 있다.

Skip Connection
낮은 layer의 맵을 upsampling할 때 결합해서 손실된 정보를 복구하는 방식이다.

https://tjmachinelearning.com/lectures/1718/fcn/

https://medium.com/@mohit_gaikwad/overview-fully-convolutional-network-for-semantic-segmentation-b4ef92eeb8c4

참고자료
image task 종류
image classification
image segmentation
segmentation
Interpolation
Linear Interpolation
Transpose Convolution
Transfer Learning1
Transfer Learning2
Transfer Learning3
Skip Connection