[Paper Review] Amplifying the Effects of Contrast Agents on Magnetic Resonance Images Using a Deep Learning Method Trained on Synthetic Dat
Paper Review
- CA(Contrast Agents, 조영제): MRI 진단 등에서 구조나 병변을 더 선명하게 보이도록 돕는 약물, MR에서는 주로 가돌리늄 기반 조영제 사용 // 부작용 존재
간단하게 요약하면 딥러닝을 통한 조영제 증폭(적게 썼는데 많이 쓴것처럼)에 관한 논문이다.
- Keywords: DL, image enhancement, CA
🍞 1. Introduction
요약: 조영제 증폭 MR 이미지에 대한 DL 접근 방식 소개
- CNN / GAN 등 DL을 사용하여 낮은 용량의 CA 사용 이미지 restoration
- DL의 성능은 train dataset의 size/quality에 크게 의존 (++ Synthetic data도 고려)
본 논문에서는 CNN, 쥐 data + synthetic data 사용
🍞 2. Materials and Methods
🌿 Study Design
PURPOSE: CA 효과를 두 배로 늘리도록 CNN을 train하는 것
-> CA 투여 전 / CA 투여후 dataset 제작 -> MR signal 줄여서 half-dose image 제작
HYPOTHESIS: standard-dose image에 적용했을 때, 훈련된 네트워크가 CA를 두배로 늘린 상태의 contrast를 잘 예측할 것이다.
🌿 Physical Model
위 식은 CA의 local concentration(c)에 의해 linearized 될 수 있으며, Tofts 모델의 가정 하에서 half-dose 와 standard-dose의 c가 선형적으로 비례한다고 가정하면 half-dose image의 MR signal을 계산할 수 있다.
🌿 Data Sets
데이터셋 정보에 관한 섹션, 간단하게만 적겠다.
- Preclinical Study
48마리의 수컷 rat, 교모세포종 세포 주입하여 종양 유도, 3T/7T MR scanner, CA는 1배, 2배, 0.5배 사용
- Clinical Study
2012~2020 중추신경계 MR 영상, 1T~3T scanner 사용
- Image Preprocessing
SimpleElastix 소프트웨어라는걸 사용해서 contrast-enhanced영상과 pre-CA를 기하학적으로 정렬..? (뭔소리냐)
Mr signal을 [0,1] 범위로 매핑하여 normalization 했다고 함.
- Deep Network Structure
U-Net과 유사한 encoder/decoder 사용
half-dose image가 입력, standard-dose image가 ground-truth
입력 이미지: 256x256
train/val/test ratio: 0.7/0.2/0.1
data augmentation: flip, rotate 등 사용하여 overfitting 방지 및 robust ++
(half-dose image의 SNR/CNR 맞추기 위해 노이즈 수준 조정)
optimizer: Adam, lr=0.01, weight_decay_lambda=0.001, 250 epochs
loss function: MAE, Fourier-MAE, VGG-19 기반 perceptual loss
- Preclinical Evaluation
SSIM, PSNR, MAE 등 사용
- Clinical Evaluation
실제 환자로부터 얻은데이터 사용, 평가지표는 Preclinical과 동일한 metric 사용
설명은.. 쓰기 귀찮아서 생략 읽어보기로 하자 그냥
🍞 3. Results
Preclinical / Clinical 로 나뉘는데
암튼 잘 나왔다... 결론임
standard-dose에 비해 2배 dose 생성한게 contrast도 잘나오고 등등.. 예상 그대로의 내용이라 굳이 안쓰겠다.
[FIGURE 4. Representative example of pre-CA (A), standard-dose image (B), real double-dose image (C), and virtual double-dose image (D), and difference image between real double-dose and virtual double-dose (E) from an examination acquired at 7T (top row) and 3T (bottom row).
마크다운 문법에 캡션 없는걸로 알고있어서 불편해도 참아주시길 바람
🍞 4. Discussion
실제 조영제 2배 투여와 DL 통한 결과가 유사하지만, 잠재적 한계가 있다!
- Coregistration - CA 투여 전/후에 얻은 두 세트의 이미지를 서로 정확히 겹치도록 조정하는 과정
이 Coregistration 불일치가 artifact 유발 및 이미지 quality에영향을 주는데, 이 논문의 연구에서는 시각적 검사를 통해 15%를 제외했다고 한다.
🍞 5. Conclusion
여러 장점이있긴 한데, 제안한 AI를 통해 작은 병변의 탐지 가능성을 높였다는 점이 가장 주요한 장점인 것 같다.
하지만 가돌리늄 기반 CA 말고도 다른 조영제 유형에 대해 generalization이 가능한지, 다양한 임상 설정에 대해서도 마찬가지로 일반화가 가능한지 의문이다.
comment) 데이터 제공이 되면 실제 구현을 해볼거같은데, 데이터는 제공이 안되는것 같다. 그게 좀 아쉽..
암튼 조영제 부작용에 관해서 좀 더 완화할 수 있는 재밌는 논문이었다.
근데 조영제를 적게 투여하든 많이 투여하든 부작용이 오는건 쩔수라는 얘기를 들어서 (난 의사가 아니니까 잘모르지만) 실제 임상에 쓸 수 있을지..?
