Semantic segmentation

Semantic segmentation이란?

각 픽셀별로 classification, 한 객체단위로 구분하는게 아님

Fully Convolutional Networks(FCN)

• Dimension 크기에 대해 독립적이다.(임의의 사이즈의 input이 들어와도 된다.)
• Fully Connected layer: 한 dimensional vector는 공간 정보를 잃는다.
• Fully Convolutional layer: 한 classification map은 공간적인 정보를 갖는다. Fully convolutional layer구현방법? 1x1 convolutions
  

→ Fully connected layer와 1x1 convolution의 파라미터 수가 같으므로 reshape을 해서 바꿔주면 됨

장점: 1x1Convolution layers는 convolutional feature map을 통해 각 feature vector를 분류한다, 큰 receptive field를 가지고 있다

단점: 큰 receptive field를 가지고 있지만 해상도 문제가 있다. → upsampling을 해줘야함

Upsampling이란?

input image가 더 작은 feature맵으로 작아져서 upsampling을 통해 이미지를 키워야 한다.

방법으로 Unpooling, Transposed convolution, Upsample and convolution

FCN의 skip connection

input image로부터 가까운 feature map은 국지적이고 작은 차이에 민감하다.

input image로부터 먼 feature map은 해상도는 낮지만 전반적인 의미(공간적)를 포함한다.

→ 높은 layer에 있는 activation map을 upsampling을 통해 해상도를 올릴 수 있다.

U-Net

특징

• fully convolutional network(FCN과 같음)
• FCN의 skip connection과 비슷하다.
• 더 정확한 segmentation을 할 수 있다.

구조

• Contraction path

→ receptive field가 늘어난다. feature channel의 수가 2배씩 증가하고 전체적인 문맥의 정보를 얻는다.

• Expanding Path

→ featuremap의 크기를 이등분하고 contraction path의 feature maps들과 concat한다.(skip connection을 통해 fusion)

참고: 부스트캠프 AI Tech 4기 CV강의 오태현 교수님