Abstract

CT촬영과 비교했을때, MRI는 급성 허혈성 뇌졸중 병변에 더 민감하다.
하지만 MRI는 시간이 오래 걸리고 비용이 많이 들며, 금속 임플란트로 인해 간섭을 받기 더 쉽다. CT 이미지를 이용해 MRI 이미지를 생성하면 이러한 MRI의 한계를 극복할 수 있다.

📌주요 목표: CT로 부터 병변 정보를 얻는 것

본 연구에서는 방사선 유전학과 GAN을 결합해 급성 허혈성 뇌졸중을 위한 CT에서 MRI로의 교차 모달 이미지 생성 알고리즘을 제안

💡 HOW?
1. 방사선 유전학을 이용해 병변 후보 영역을 도출
2. 해당 영역의 방사선 유전학적 특징을 추출
3. 가장 큰 정보 이득을 가진 특징을 선택 후 특징맵으로 시각화
4. 추출된 특징맵과 CT이미지를 결합해 생성기에 입력
5. 생성기의 다운샘플링 후 잔차 모듈을 추가, U-Net의 구조를따름
- 모델이 병변의 유사성에 집중할 수 있도록 병변 특징 유사성 손실 함수를 도입

두 명의 숙련된 방사선 전문의의 주관적 평가와 평가지표를 사용한 결과, 생성된 MRI이미지가 실제 MRI이미지와 매우 유사한 것으로 나타났다.
또한 병변의 위치가 정확하고, 병변의 형태가 실제 병변과 유사해 의사들의 신속한 진단과 치료에 도움을 줄 수 있음을 확인했다.

Related Works

A. Radiomics

• 데이터 특성화 알고리즘을 사용하여 의료 영상에서 많은 특징을 추출하는 방법
• 방사선 특징은 육안으로는 인식할 수 없는 종양 패턴과 특성을 밝혀낼 수 있는 가능성이 있음
  

다음과 같은 순서로 진행됨
데이터 선택->관심 영역 획득->특징 추출->특징 선택/모델 구축

B. GANs/CGAN

+pix2pix example

C. Combining Radiomics and Generative Adversarial Networks

• 최근 연구에서 Radiomics와 GAN을 결합하여 의료 영상 문제를 해결하는 데 활용함
• Radiomics에서 추출된 특징은 생성된 이미지의 현실성을 향상시키기 위해 GAN의 중간 감독으로 사용될 수 있음
  

Method

(a) Lesion detection in CT by radiomics

• 급성 허혈성 뇌졸중 병변은 CT에서 명확하게 확인되지 않음

1. 먼저 radiomics를 사용하여 CT에서 병변 후보 영역을 감지
2. 병변의 radiomics 특징을 추출
3. 가장 큰 information gain 을 갖는 특징을 선택, 이를 feature map으로 시각화

(b) Generation of CT to MRI fusion of radiomics features

• feature map과 CT를 GAN의 입력으로 연결하여 CT에서 MRI이미지를 생성함
• 병변 특징 유사도 손실 함수를 도입하여 GAN이 병변 특징의 유사성에 집중하도록 하여 생성된 이미지의 품질을 향상시킴

A. Lesion Detection in CT by Radiomics

• 앵커 박스들 중 radiomics 특징이 다른 앵커박스와 비교했을 때 가장 큰 차이를 보이는 경우, 해당 앵커 박스를 병변 후보 영역으로 정의
  • 차이가 가장 큰 영역에 병변이 포함되어있다는 것을 의미함
• 병변을 포함하는 분기 영역에 여러 앵커박스를 생성하고, 병변 영역을 계속 탐색
• 앵커 박스의 크기를 인위적으로 감소 시키며 탐색
  ✔ 앵커 박스의 크기 선택 원칙
앵커박스의 크기는 가능한 병변의 크기와 가까워야 하며, 모든 앵커박스가 후보 영역 전체를 최대한 커버해야 한다.

$X$: 특징 값을 나타냄
$Y$: 뇌졸중 여부의 랜덤 변수
$IG(X_i,Y)$: information gain (Information gain은 이 특징인 경우에 사건 Y의 불확실성이 얼마나 줄어드는지 정도를 나타냄, 클수록 중요)

• information gain 을 threshold로 하여 특징을 선택함

B. Cross-Modal Image Generation From CT to MRI Fused With Radiomics Features

Discriminator(D): PatchGAN을 사용

C. Loss Function

• CGAN은 입력으로 임의의 노이즈 뿐만 아니라 조건 이미지도 포함시킴
  • $L_{CGAN}(G,D)=E_{I_{CT},I_{MR}}[log \,D(I_{CT},I_{MR})]+E_{I_{CT},z}[log(1-D(I_{CT},G(I_{CT},Z)))]$
• pix2pix는 L1 loss func을 추가로 사용함
  • $L_1(G)=E_{I_{CT},I_{MR},Z}[||I_{MR}-G(I_{CT},Z)||_1]$
• 실제 MRI 병변 영역을 생성된 MRI와 일치시키기 위해 병변 특징의 유사성 손실 함수를 도입함
  • $L_f(G)=E_{I_{CT},I_{MR},Z}[||F_{I_{MR}}-F_{G(I_{CT},Z)}||_1]$
    • $F_{I_{MR}}$: 실제 MRI에서 radiomics로 추출한 병변 영역의 특징 값
    • $F_{G(I_{CT},Z)}$: 생성된 MRI에서 방사선 종합 검사로 추출한 병변 영역의 특징 값을 나타냄
• 전체 네트워크 손실함수는 위 손실함수의 선형 결합으로 정의됨
  $L=\arg \min_G \max_D L_{CGAN}(G,D)+\lambda_1 L_1(G)+\lambda_2 L_f(G)$

Experiment