🎈 본 리뷰는 U-Net 및 리뷰를 참고해 작성했습니다.

👩‍💻 오늘은 Semantic segmentation 중 하나의 U-Net 논문 리뷰를 진행해보겠습니다. 제목에서 볼 수 있듯이 본 논문이 의학계열과 많은 관련이 있는 것을 알 수 있습니다. 전 의학에 대해 무지하기에.... 방법론 위주의 리뷰를 진행할 예정입니다.

Keywords

🎈 U-Net: Contracting path and expanding path
🎈 Overlap Tile strategy
🎈 Elastic Deformation for Data Augmentation

Introduction

✔ Semantic Segmentation는 기존의 Image Classification과 다르게, 각 pixel마다 class label를 구분해야합니다. Segmentation의 수행하기 위해 먼저, U-Net이 locaize할 수 있어야합니다. 두번째로 patch라고 불리는 training data가 training image보다 훨씬 더 많아야합니다.

✔ 기존의 전략들에는 두 가지 생각해야할 부분이 존재합니다. 먼저 기존의 sliding window에는 많은 중복이 존재한다는 점입니다. 두번째로 localization 정확도와 context를 사용하는 것에 trade-off 관계가 존재한다는 점입니다. 더 큰 Patch(context)를 사용한 것은 더 많은 max-pooling이 필요하며 이는 localization의 정확도를 낮춥니다.

✔ 결과적으로 U-Net은 Fully Convolutional Network를 사용해 아키텍처를 구성합니다. 또한 FCN 구조를 수정 및 확장을 통해 적은 training 이미지로 더 유의미한 segmentation를 할 수 있다고 말합니다.

✔ 위의 Overlap-tile strategy를 사용해 seamless segmentation을 가능하게 할 수 있습니다. 파란색 선의 범위로 노란색 선의 범위를 예측하게 되는데, 파란색 선의 범위 일부가 기존에는 이미지가 일부가 아니지만, mirroring을 통해 이미지가 없는 부분 채워 학습을 진행합니다.

Network Architecture

✔ U-Net의 전체적인 구조 형태를 볼 수 있습니다. 가운대를 기준으로 거의 대칭인 것을 알 수 있으며, 좌측은 contracting path 그리고 우측은 expansive path라고 부릅니다.

✔ contracting path의 구조는 전형적인 convolution network구조라고 알 수 있습니다. 각각의 block(?)이 2개의 3x3 convolutions과 ReLU 그리고 2x2 Max pooling으로 이루어져있습니다. 또한 downsampling할 때 feature channels을 두 배로 증가시킵니다.

✔ expansive path는 2x2 convolution("up-convolution")인 upsampling의 방식으로 이루어져 있습니다. 또한 contracting path로부터 온 crop된 feature map을 사용해 concat을 진행합니다. crop을 하는 이유는 각 convolution마다 가장자리 pixel 정보들이 손실되기 때문입니다. 이는 convolution 과정에서 padding 하지 않는 이유라고도 말할 수 있다고 생각됩니다.

✔ 총 23개의 convolution layer로 존재하며, connected layer는 존재하지 않습니다. 개인적으로는 위의 네트워크 그림이 직관적으로 잘 설명되어있다고 생각합니다.

Training

✔ Unpadded convolution을 사용하기 때문에 output image는 input 보다 작습니다. 그렇기 때문에 더 큰 input 사이즈의 batch size를 사용하며 이는 하나의 이미지마다 배치 수는 줄어들겁니다. 이 부분의 보완을 위해 momentum(0.99)를 사용해 과거의 정보를 더 많이 받아드립니다.

✔ U-Net에서 사용한 애너지함수(저 같은 경우에는 손실함수라고 이해했습니다..)의 경우 pixel-wise(픽셀 단위의) soft-max를 최종 feature map에서 cross entropy와 결합되 사용합니다.

✔ Soft-max는 위의 식과 같이 $p_k(x)$로 정의 됩니다. $a_k(x)$의 경우 feautre map k에서의 activation이라고 하며, $x$는 픽셀 포지션을 의미합니다. 대문자 $K$는 클래스의 수를 의미하고, $p_k(x)$은 approximated maximun-function을 의미합니다.

✔ 전체적인 애너지함수의 구조는 위와 같습니다.

✔ 또한 위 논문은 의학관련 주제를 다루며, 경계부분을 분리하기 위해서 Weight map을 pre-compute한다고 합니다. 각각의 training dataset의 특정 클래스에서 픽셀의 다른 빈도를 보정하기 위해 각 지상 진실 분할에 대한 가중치 맵을 미리 계산한다. 또한 네트워크에 경계가 적은 부분을 분리하기 위해 pre-compute를 진행합니다.

✔ 위의 식에서 핵심은 $d1$과 $d2$라고 말할 수 있습니다. $d1$은 가장 가까운 cell(세포)의 거리, $d2$는 두번째로 가까운 cell의 거리라고 말할 수 있습니다.

Data Augmentation

✔ U-Net에서는 의학 데이터에 맞는 Elastic Deformation을 제시합니다. 이는 invariacne하고 robust하다는 특성을 가지고 있습니다. 이를 제시한 이유는 일반적으로 세포 데이터등과 같은 것은 구하기가 어려우며, 각도에 따라 다르게 때문에 사용한다고 합니다. 자세한 내용은 논문 및 자료를 찾아보시는 것을 추천드립니다.