[논문리뷰]U-Net : Convolutional Networks for Biomedical Image Segmentation
U-Net은 Biomedical 분야에서 Image Segmentation을 목적으로 제안된 End-to-End 방식의 Fully-Convolutional Network 기반 모델입니다.
U-net의 구조는 그림으로 보이는 것과 같이 매우 직관적인 것을 알 수 있습니다.저자는 이러한 FCN구조를 크게 두 파트로 나누어 표현했는데 바로 features를 capture하는 왼쪽을 contracting path 그리고 예측을 정교화하는 즉,localize하는 오른쪽을 expanding path라고 정의했습니다.
Architecture>
Expanding Path의 경우 Contracting Path의 최종 특징 맵으로부터 보다 높은 해상도의 Segmentation 결과를 얻기 위해 몇 차례의 Up-sampling을 진행합니다.즉, Coarse Map에서 Dense Prediction을 얻기 위한 구조인 것이라고 생각할 수 있습니다.
차례로 구조를 나눠서 살펴보면 1)Contracting path, 2)Bottle Neck,3)Expanding path로 볼 수 있습니다. 그리고 각각의 작업들을 보면
1)Contracting Path
- 3×3 Convolution Layer + ReLu + BatchNorm (No Padding, Stride 1)
- 3×3 Convolution Layer + ReLu + BatchNorm (No Padding, Stride 1)
- 2×2 Max-polling Layer (Stride 2)
수축경로는 주변 픽셀들을 참조하는 범위를 넓혀가며 이미지로부터 Contextual 정보를 추출하는 역할을 합니다.
이때, 3×3 Convolution을 수행할 때 패딩을 하지 않으므로 특징맵(Feature Map)의 크기가 감소합니다.
그리고 이처럼 패딩을 수행하지 않기 때문에 모델의 Output Size는 Input Size보다 작은 것을 알 수 있습니다.
또한,Downsampling 할 때 마다 채널(Channel)의 수를 2배 증가시키면서 진행합니다.
2)Bottle Neck
수축 경로에서 확장 경로로 전환되는 구간인 Bottle Neck구간 입니다.
- 3×3 Convolution Layer + ReLu + BatchNorm (No Padding, Stride 1)
- 3×3 Convolution Layer + ReLu + BatchNorm (No Padding, Stride 1)
- Dropout Layer
마지막에 적용된 Dropout Layer는 모델을 일반화하고 노이즈에 견고하게(Robust) 만드는 장치입니다.
3)Expanding Path
Upsampling 과정을 반복하여 특징맵(Feature Map)을 생성합니다.
1. 2×2 Deconvolution layer (Stride 2)
2. 수축 경로에서 동일한 Level의 특징맵(Feature Map)을 추출하고 크기를 맞추기 위하여 자른 후(Cropping) 이전 Layer에서 생성된 특징맵(Feature Map)과 연결(Concatenation)합니다.
3. 3×3 Convolution Layer + ReLu + BatchNorm (No Padding, Stride 1)
4. 3×3 Convolution Layer + ReLu + BatchNorm (No Padding, Stride 1)
이때 concat의 과정은 Contextual 정보와 위치정보 결합하는 역할을 합니다.
위 과정을 모두 거친 후 확장경로의 마지막에 Class의 갯수만큼 필터를 갖고 있는 1×1 Convolution Layer를 통과시킨 후 각 픽셀이 어떤 Class에 해당하는지에 해당하는 정보를 나타내는 3차원 (WxHxC)벡터를 생성 시킵니다.
Training>
본 논문에서 언급한 특징이 될 수 있는 Training방법을 보면 다음과 같은 것들이 있습니다.
1.Overlap-tile strategy : 큰 이미지를 겹치는 부분이 있도록 일정크기로 나누고 모델의 Input으로 활용합니다.
다음 tile에 대한 Segmentation을 얻기 위해서는 이전 입력의 일부분이 포함되어야 한다.
2.Mirroring Extrapolate : 이미지의 경계(Border)부분을 거울이 반사된 것처럼 확장하여 Input으로 활용합니다.
이미지의 경계 부분 픽셀에 대한 세그멘테이션을 위해 0이나 임의의 패딩값을 사용하는 대신 이미지 경계 부분의 미러링을 이용한 Extrapolation 기법을 사용하였습니다.
3.Weight Loss : 모델이 객체간 경계를 구분할 수 있도록 Weight Loss를 구성하고 학습합니다.
cell들이 경계면을 잘 잡아내지 못하는 도메인적 특성을 파악하여 cell의 경계면에 높은 loss를 주도록 구현하였습니다.
4.Data Augmentation : 적은 데이터로 모델을 잘 학습할 수 있도록 데이터 증강 방법을 활용합니다.
데이터의 양이 적기 때문에 데이터 증강을 통해 모델이 Noise에 강건하도록 학습시킵니다. 데이터 증강 방법으로 Rotation(회전), Shift(이동), Elastic distortion 등의 방법을 사용하였습니다.
실험 및 결과>
모델의 성능을 평가하기 위하여 EM Segmentation challenge의 Dataset을 활용합니다.
한줄 정리>
U-Net은 Biomedical 분야에서 Image Segmentation을 목적으로 제안된 End-to-End 방식의 FCN기반 모델로 대칭적인 Contracting Path 및 Expanding Path을 갖추고 있어 Unet이라는 이름이 붙었으며 Biomedical한 분야에 초점을 맞추고 있는 만큼 cell과 막 사이의 경계의 구분, 그리고 cell의 대칭적인 구조를 염두에 두어 weight loss를 경계면에 높은 loss를 주도록 구성하는 loss function을 갖추고,overlap tile strategy 및 mirror extrapolate를 통해 경계 부분 픽셀에 대한 세그멘테이션을 임의의 값이 아닌 mirroring한 값을 채우는 것과 같은 기법들을 사용한 특징이 있는 모델입니다.
