U-Net 이란?

● MICCAI 2015에 출판된 논문으로, 바이오메디컬 이미징 분야에서 사용하다 보편화 됨
● U-Net의 이름은 U자 모양의 아키텍처에서 유래

Encoder

● 입력 이미지를 Downsampling
● 이미지의 공간 정보를 계층적으로 추상화 및 중요한 Feature 추출

Decoder

● Encoder가 추출한 Feature를 Upsampling
● Upsampling하여 Segmentation Map 생성

Skip Connection

● Encoder와 Decoder 간의 정보 전달
● Decoder에서 Upsampling된 Feature와 동일한 해상도의 Encoder Feature를 결합

FCN vs U-Net

● FCN (Fully Convolutional Network), U-Net 모두 Segmentation 수행
● 차이점 : U-Net은 Encoder와 Decoder 사이에 Skip connection 존재하며, 중간 Layer 정보 계층적으로 전달
● FCN은 skip-connection을 더해주고, U-Net은 채널을 추가해줌

LOSS

● Pixel-wise cross entropy loss: Backbone이 각 픽셀 별로 예측한 확률 분포와 실제 클래스 간의 차이 측정
● 예측 확률과 실제 클래스 레이블 간의 거리를 최소화하도록 학습에 사용

Prediction

● Prediction: 모델 결과를 사용하여 segmentation map 생성
● Segmentation map은 이미지와 동일한 크기 가짐
● 각 픽셀에 예측된 클래스 레이블이 할당