Deep learning, medical imaging and MRI

• 딥러닝 기법들은 임상에서 실제로 많이 쓰임

CNN: short-text 분류기반의 방사선 진료에 효과적이다.

-Deep learning은 MRI에서 gadolinium dose를 줄이는데 돕는다(이미지 quality 손상 없이+contrast 향상)

-신경외과 영상 치료요법에서 쓰임, 공초점 레이저 현미경 검사를 딥러닝 모델과 합침 -> 수술 중 즉석에서 중심소엽성 폐기종 진단에 쓰인다!

Theranostics =치료+진단 (therapy+diagnosis)
prostate biopsy -> 전립선 생검
elastic registration:탄성 적합
뇌 CT 영상과 뇌 해부도와의 매칭을 위해 Bajcsy 등에 의해 제안된 방법
고무와 같은 탄성체 변형으로 모델링될 수 있다는 생각에서 시작됨
변형은 탄성체의 변형으로 발생한 내부력 (internal force)과 탄성체의 외부에 작용하는 외부력 (external force)으로 구성
내부력과 외부력이 평형 상태에 이를 때 탄성체의 변형을 중지
의학용어 정리 블로그

• deformable image registration(DIR:비정형화 영상정합)
  -quantitative analysis를 가능하게한다.

영상 정합 (image registration)-> 공간 좌표가 서로 다른 영상에서 연관관계를 쉽게 파악하기 위하여 동일 좌표계로 정렬하는 것으로 서로 맵핑되는 기하학적 변환을 찾는 과정

elastic registration? deformable registration? 모르겠다...

3.1 From image acquisition to image registration

1 Data acquisition and image reconstruction

• CNN, RNN 기반의 image reconstruction method 관련 연구 증가!
• CRNN -> for dynamic MR image reconstruction은 좋은 quality의 심장 MR image를 재건할 수 있다.
• Data augmentation이 사용된다(데이터 증강)
  -데이터 셋이 너무 적으면, Overfitting의 문제가 심하고 학습이 제대로 되지않는다
  -적은 양의 데이터를 바탕으로 다양한 알고리즘을 통해 데이터의 양을 늘리는 기술
  -variation의 invariant하게 된다!

  https://colab.research.google.com/drive/1WwUbd5jTKVMlKJ-8Mj1Q9e8lzdLfuctn#scrollTo=MxtULjQmIsh9

https://m.blog.naver.com/PostView.naver?isHttpsRedirect=true&blogId=isu112600&logNo=221582003889

2 Quantitative parameters - QSM and MR fingerprinting

• 기록된 complex-valued data로부터의 정량적 조직 파라미터들의 평가를 통해 deep learning 발전이 가능하다!

QSM (Quantitative Susceptibility Mapping)

• susceptibility를 quantitative하게 mapping한 값

• A growing field of research in MRI

• 생물학적 조직의 magnetic susceptibility를 비침습적으로 평가하는 것을 목표로 한다.

• local magnetic field로부터 magnetic susceptibility를 결정하는 것의 불량조건 역문제를 푸는데 기반한다.

• Yoon et al. -> U-Net 구조 기반으로 QSMnet인 three-dimensional CNN을 구축함
  -> 고퀄리티의 susceptibility source map을 생성가능하게 하기 위해
  

• 저자는 QSM표준을 사용하여 training data를 생성한다: COSMOS method라 불리는
  -결과 모델은 단순화시키고, 개선시켰다!

• Rasmussenn은 다른 접근을 시도함!
  -Deep ASM이라 불리는 field-to-source inversion을 수행
  -but, 종합적으로 기하학적 도형들을(구,사각형,cube) 포함하는 데이터를 생성하도록 훈련받는다!
  -synthetic data에서 모델을 훈련하면, 실세계의 임상 뇌 MRI data에 대해 일반화하는 것이 가능해진다.

MRF

• 더 일찍 나왔고, "a promising new approach to obtain standardized imaging biomarkers from MRI"라고 불려진다.

• pseudo-randomized acquistion을 쓴다(다른조직들로부터 unique signal evolution을 가지도록 하는)
  -> 이해 못함 추가 수정 필요!

• 다시 돌아와서.. deep learning 방법론은 MRF에 적용되었다.

불량조건 문제란?
다수의 고해상도 영상이 동일한 저해상도 영상으로 변환될 수 있기 때문에 단지 저해상도 영상만 주어진 상태에서 원래의 고해상도 영상을 얻어낸다는 것은 매우 도전적인 문제이며 수학적으로는 1개의 유일한 정답이 존재하지 않는 ‘불량조건 문제(ill-posed problem)’가 된다.

출처 : https://www.sedaily.com/NewsVIew/1VLPT0D87I

3 Image restoration 복원(denoising, artifact detection)

• 영상에 noise가 많거나, low resolution이거나, 카메라가 흔들려서 Blurred된 경우 등 영상을 복원시켜야 할 경우는 상당히 많다!

• 가장 기본적인 noise 제거 방법은 low pass filter를 적용하는 것
• Non-local means filter
  -denoising 시킬 픽셀 주변의 patch와 또 다른 영역의 patch를 비교해서 유사성이 높은 patch가 높은 가중치를 갖는 weighted average방법
  

4 Image super-resolution

http://dmqm.korea.ac.kr/activity/seminar/318

저해상도의 이미지를 고해상도로 바꾸는 image 문제

• 문제의 어려움 -> ill-posed problem
  저해상도 이미지를 고해상도로 복원할 때 정답이 단 1개만 존재하지 않음!
  

1. supervised Learning 방식
2. GAN을 활용해 고해상도 이미지를 생성하는 방식
   

• 특징

1. 저해상도 이미지와 고해상도 이미지 크기가 다른 문제를 어떻게 다룰 것인가?
2. Image Super-Resolution 문제에 어떻게 딥러닝 모델을 적용할 것인가?
3. 고해상도 이미지 변환이 잘 되었다는 것을 어떻게 평가할 것인가?

• 문제
  저해상도 image라는 것은 pixel 수가 적다는 것이므로, 결국 super resolution에서 중요하게 다뤄야 할 문제는 작은 input size를 어떻게 큰 output으로 변환할 것인가?
  
  
  

interpolation방식과 Learning-based방식
interpolation -> 주변의 pixel을 가지고 커진 size의 빈공간을 채움
Learning-based -> Upsampling이 가능한 Layer를 활용해서 upsampling parameter를 학습하는 방법

1) interpolation-based upsampling
1. Nearest-neighbor interpolation -> 빈 픽셀은 가장 가까운 픽셀 값으로 채우는 방법
2. Bilinear Interpolation -> 인접 4개 픽셀 값의 linear interpolation 진행
3. Bicubic Interpolation -> 인접 16개 픽셀 값의 cubic interpolation 진행

2) Learning-based upsampling
1. Transpose Convolution Layer -> 저해상도 이미지 확장 후 Convolution 연산 진행
2. Sub-pixel Convolution Layer -> Convolution 연산 후 pixel 별로 모음

• 고해상도 이미지 변환이 잘되었음을 평가하는 지표

1. PSNR -> 압축된 영상의 화질에 대한 손실정보를 평가, but psnr 값이 유사하더라도 화질의 차이가 있을 수 있다.
2. SSIM -> 인간이 이미지를 어떻게 보는지에 착안하여 만들어진 지표로 이미지의 구조정보가 얼마나 유사한가를 평가하는 지표

• Image Super-Resolution 문제를 해결하는 딥러닝 모델
  -SRCNN: Image Super-Resolution 문제에 최초로 딥러닝을 적용한 것
  -SAN: 단순 convolution 연산만을 활용하는 것 뿐만 아니라 더 나아가 여러가지 모듈을 결합해 적용한 모델

5 Image synthesis(이미지 합성)

• MRI에서 이미지 합성은 new parametric images or new tissue contrast를 도출하는 기법이다

• 그리고 또다른 길은 정량적 영상과 팬텀 개발과 관련있다.
  -> phantom: brain imaging phantom, DCE-MRI perfusion phantom, diffusion phantom, flow phantom, breast phantom or a proton-density fat fraction phantom

phantom이 뭐야?
MRI 정도관리와 MRI 유지보수에 사용, 인체 대신 장비에 삽입돼 측정의 기준을 잡아준다!
팬텀(Phantom)이란 MRI와 CT와 같은 의료영상기기의 성능을 평가하기 위한 도구

• 딥러닝 기법의 photo-realistic image synthesis
• biological image synthesis, text to image synthesis
• generate synthetic abnormal MRI images -> 불균등한 영상 데이터셋에 대해, 병리학적 소견 -> data augmentation, anonymization tool 로써의 역할을 한다!
• unsupervised synthesis of T1-weighted brain MRI (GAN사용)

6 Image registration(영상 정합)

• MRI에서 영상 정합은 중요하다!
  -왜? -> multiparametric 정보인 tissue imformation이 공간상에서 정보가 모아질때, 더 적은 acquisition time, 높은 spatial resolution을 요구하기 때문에!

• 전통적으로는 영상정합의 과제를 이분법으로 나누었다
  -intravs inter-modality, intra vs inter-subject, rigid vs deformable, geometry-based vs intensity - based, prospective vs retrospective 등등

• 발전해서 다양한 장기들에 적용해봄

• 최근, 정확도와 속도 개선을 위해 딥러닝 방법이 영상 정합에 적용된다

하나의 장면이나 대상을 다른 시간이나 관점에서 촬영할 경우, 영상은 서로 다른 좌표계에서 얻어지게 된다
-> 서로다른 영상을 변형하여 하나의 좌표계에 나타나는 처리기법

elastic registration: 의료영상 처리에서 환부의 영상을 시간에 따라 비교하거나, 정상인 조직의 영상과 비교하기 위해서는 호흡 등의 변형을 보정하기 위해 탄성정합을 요구한다

3.2 From image segmentation to diagnosis and prediction

upstream 영상처리 단계
downstream 진단

image segmentation: 이미지를 지역화 및 정량화를 가능케하는 과정
mr image 분할이 많이 사용되고 있음

diagnosis and prediction:
특이 영역을 찾는 알고리즘, 지도 학습(정답 찾기 어려움) -> 비지도

normal data vs 병변 data 모아서 비교하는 기법도 있음

장기별로 종류많다!

3.3 content based image retrieval

영상이 가진 컨텐츠의 특징을 기반으로 한 검색
-> 주어진 이미지와 유사한 의료사례 제공

의료 CBIR 딥러닝 알고리즘에 지배된다!

Open science and reproducible research in machine learning for medical imaging

• 머신러닝은 peer-review process를 유지하기위해서 빠른속도로 움직이고있다.
• but 대부분의 머신러닝 논문이 pre-print로써만 이용가능했다
• peer review를 거치지 않는 것은 단점이 있지만, 연구자들이 코드와 데이터를 공유하려는 의지를 통해 완화된다.

so machine learning을 접하고 싶다면?
open data를 구하고 arXiv preprint를 통해 방법을 읽고, github에 올려진 구현을 사용해봐라!

• 대회 -> goodgood

peer review process: 출판의 필수적인 과정으로 과학논문의 유효성을 확인해 주는 과정
pre-print:논문 출판 전, 연구를 공개하는 것

참고 자료: https://truman.tistory.com/239

Challenges, limitations and future perspective

Data

결국은 부족한 data set -> 전이학습!
-> data augmentation으로도 해결 접근 가능

interpretability, trust and safty

블랙박스 문제 -> XAI 등장 -> 신뢰도를 높이기 위해 강력한 불확실성 추정치를 생산

Workflow integration, regulation

작업 및 활동이 어떻게 이루어지고 있는가, 프로세스 중심의 그룹 활동
-> 시스템을 만들고 평가하는 과정에 최종 사용자를 참여시키는 방법!

perspective and future expectation

결국은 딥러닝이다!! -> 4P