A2FSeg: Adaptive Multi-modal Fusion Network for Medical Image Segmentation

Abstract

simple adaptive multi-modal fusion network for brain tumor segmentation
=> two stages of feature fusion (simple average fusion + adaptive fusion based on an attention mechanism)

dataset: BraTS2020
source code: https://github.com/Zirui0623/A2FSeg

Introduction

T1,T1x, T2, Flair 같은 multimodal image scan을 사용
실제로는 동시에 모든 모달리티들을 수집하는 것이 어려움, 한가지가 누락되는 경우 발생

Method

Modality-Specific Feature Extraction (MSFE) Module:
fusion하기 전에 각 {T1, T2, T1c, Flair}마다 특징을 추출, nnunet model 사용, 가중치 다름

Average Fusion Module:
평균특징 수식: F¯ = (1/Nm) * Σᵢ Fᵢ 사용
(Nm: 모달리티의 수)

Adaptive Fusion Module:
가중치가 다르므로 최종에 기여정도가 다름, attention map 생성하기 위해서 각 특징과 평균 특징 결합해서 convolutional layer 통과 -> 가중치 얻기

Loss Function:
cross-entropy + soft dice score 사용