(2021)EIS-Net: Segmenting early infarct and scoring ASPECTS simultaneously on non-contrast CT of patients with acute ischemic stroke

0. Abstract

본 논문은 NCCT(Non-Contrast CT)를 기반으로 EI(Early Infarct)의 segmentation과 ASPECTS(Alberta Stroke Program Early CT Score)를 동시에 사용한 EIS-Net이라는 새로운 multi-task를 제안한다.

EIS-Net은 EI segmentation을 위한 T-CNN(3D Triplet CNN)과 ASPECTS scoring을 위한 multi-region classification으로 구성되어 있다.

EI-volume은 DWI를 참고해서 annotation을 하였다.

EIS-Net은 EI segmentation과 ASPECTS scoring에서 SOTA를 달성하였다.

1. Introduction

AIS(Acute Ischemic Stroke)에서 적절한 reperfusion therapy를 위해 EI를 미리 진단하는 것을 매우 중요하다. ASPECTS는 EI extent를 판단하기 위해 임상에서 많이 사용된다. ASPECTS region은 MCA1-MCA6, insula, caudate, lentiform, internal capsule 10가지 region으로 구성된다. 정상인은 10점이며 특정 region에 infarct이 있는 경우 1점 씩 점수를 깎는다.

ASPECTS를 자동으로 계산하는 software들은 많이 나와있지만 human reader들의 계산과 ICC에서 044 ~ 0.81로 차이가 있다.

더구나 ASPECTS는 점수 기반이기 때문에 정확한 EI의 extent를 예측할 수 없다. 예를 들면 작은 infarct이 여러 region에 분포해서 ASPECTS가 6점이 나올 수도 있으며 매우 큰 infarct이 cortical region에 분포해 infarct 큼에도 9점이 나올 수 있다.

NCCT에서 EI segmentation을 annotation하는 것은 매우 어렵다. 위 그림에서 보듯이 NCCT에서는 EI가 정상 영역과 구분이 잘 되지 않는다. 그렇다고 MRI를 참고 하자니 NCCT와 MRI를 비교할 때 sub-acute(24시간 ~ 5일)과 chronic(몇 주)는 상관 관계가 크지 않다.

또한 촬영 시간에 따라 EI extent의 변동이 크기 때문에 reperfusion을 완료한 환자에게 후속으로 촬영한 NCCT에서 보이는 영역을 참고하기도 한다. 하지만 이 방법도 시간이 지남에 따라 infarct이 커질 수도 있어 적절한 방법이라고 볼 수 없다.

이러한 문제점들을 해결하고자 본 논문에서는 NCCT 촬영 후 1시간 이내에 촬영한 DWI를 참고하여 annotation을 하였다.

제안 된 end-to-end segmentation framework는 voxel-wise segmentation 접근 방법보다 연산 측면에서 이점이 있다. EIS-Net은 EI segmentation과 ASPECTS scoring을 동시에 수행한다. EI segmentation은 T-CNN이 ASPECTS scoring은 ASPECTS Net이 담당한다.

ASPECTS Net과 T-CNN이 jointly train되기에 T-CNN이 ASPECTS Net이 ASPECTS scoring을 학습함에 있어 추가적인 supervision을 주는 역할을 해 error를 줄일 수 있다.

2. Early infarct segmentation network

Medical imaging domain에서 anatomy, image context와 같은 prior knowledge는 radiologists가 images를 해석하는데 필수적이다. EI를 판단하는데 있어서 experts는 NCCT에서 두 hemisphere의 동일한 anatomical region을 서로 비교하곤 한다. 이 부분에 영감을 얻어서 EIS-Net은 original NCCT images, self-mirrored NCCT images, 대응되는 atlas의 symmetric disparity를 비교함으로 context information을 segmentation task에서 학습하도록 하였다.

1) Triplet convolutional neural network (T-CNN) for EI segmentation

Asymmetrical information의 attention을 높이고 pseudo-symmetry로 부터 발생하는 error를 방지하기 위해 CDB(Comparison Disparity Block)을 제안하였다.

CDB에서는 element-wise subtraction으로 인한 encoder 간의 feature의 차이를 MFSE(Mixed Fusion Squeeze-and-Excitation) block이 이어진 multi-resolution pyramid convolution을 사용함으로 amplify, recalibrate 하였다.

Pyramid convolution은 여러 scale에서 encoder의 feature간의 차이를 찾고 MFSE block은 redundant feature를 억제함으로 segmentation, classification task와 관련된 feature의 특징을 잘 추출할 수 있도록 하는 역할을 한다.

2) Multi-level attention gate module (MAGM) for EI segmentation

서로 다른 resolution의 feature들의 attention map은 segmentation task에서 널리 사용되고 있다. 이에 영감을 받아서 decoder의 여러 level의 features를 fuse하기 위한 MAGM(Multi-level Attention Gate Module)을 제안하였다.

위 그림에 나와 있듯이 level 2 ~ N까지 features를 resampling하고 더한 후 ReLU, 1x1x1 Convolution을 거친 뒤 level 1 feature와 더한다.

그 결과 segmentation task와 연관된 activation을 보존하고 highest-resolution level의 features를 제거하게 된다.

3) ASPECTS Net

ASPECTS Net에서도 동일하기 decoder의 features를 calibrate하기 위해 MAGM module을 사용하였다. 위 그림과 같이 MAGM에서 얻은 features는 10 pairs로 나뉘고 average pooling, concatenation, fc layer, sigmoid를 거쳐 score를 얻고 ASPECTS region labels를 바탕으로 학습하게 된다.

4) Loss function

T-CNN의 loss는 WCE(Weighted Cross Entropy) loss, GD(Generalized Dice) loss가 사용되었다.

$\mathcal{L}_{\text{WCE}}=-\cfrac{1}{N}\sum\limits_{n=1}^N\alpha y_n\log(p_n)+(1-y_n)\log(1-p_n)$

$\mathcal{L}_{\text{GD}}=1-2\cfrac{\sum_{k=1}^2\lambda_k\sum_{n=1}^Ny_{kn}p_{kn}}{\sum_{k=1}^2\lambda_k\sum_{n=1}^N(y_{kn}+p_{kn})},\ \ \lambda_k=1/(\sum_{n=1}^Ny_{kn})^2$

ASPECTS region classification loss는 BCE loss가 사용되었다.

$\mathcal{L}_\text{A}=\cfrac{1}{10}\sum\limits_{k=1}^{10}\mathcal{L}_{\text{BCE}}(S_k,P_k)$

$\ \ \ \ \ \ =\cfrac{1}{10}\sum\limits_{k=1}^{10}\left(-\cfrac{1}{M}\sum\limits_{i=1}^MS_k^i\log P_k^i+(1-S_k^i)\log(1-P_k^i)\right)$

Total loss는 다음과 같다.

$\mathcal{L}=\omega_1\mathcal{L}_{\text{BCE}}+\omega_2\mathcal{L}_{\text{GD}}+\omega_3\mathcal{L}_{\text{A}},\ \ \omega_1+\omega_2+\omega_3=1$

5) Implementation details

NCCT images는 skull-stripping 후 MNI(Montreal Neurological Institute) space의 atlas에 affine transformation과 deformable을 이용한 registration을 수행한다.

Mirrored NCCT는 수직으로 flip된 original NCCT에 affine transformation과 deformable을 이용한 registration으로 얻는다.

모든 registration은 Nifty-Reg toolbox의 normalized mutual information을 similarity metric으로 이용하였고 affine registration이 optimal이 아니라면 3D Slicer의 manual corrections를 적용했다.

NCCT, mirrored NCCT, atlas는 모두 z-score method로 normalization을 적용하였다. 그리고 online data augmentation을 적용해 data의 다양성을 주었다.

Linux workstation에서 python, tensorflow를 이용해 implementation하였고 학습 시, Xeon Gold 6148 20-core processor과 2개의 Tesla V100-PCIE-16GB GPU를 사용하였다.

3. Experiments

260명의 AIS 환자가 데이터로 사용되었다. 모든 환자는 NCCT 5mm slice thickness에서 촬영되었다. EI는 5년 이상의 경력을 가진 전문가가 manual하게 parallel axial view를 기준으로 contour 하였다. 10년 이상의 경력을 가진 전문가는 DWI를 참고하여 ASPECTS를 매겼으며 이 때, 기준을 20% 이상의 affected region이 있는 경우로 하였다.

260명 환자 중 160명은 train, 30명은 validation, 70명은 test로 사용하였다.

4. Evaluation methods

EI segmentation task에서 EIS-Net이 DC, MAD, MAXD가 가장 높다.

Dichotomized volume analysis에서 EIS-Net이 Kappa, Accuracy, AUC 모두 가장 높다.

두 명의 전문가가 manual하게 segmentation 한 것, EIS-Net이 segmentation 한 것을 DWI를 참고해 segmentation한 ground truth와 비교한 결과이다. 비교 결과 EIS-Net이 전문가와 비교했을 때 경쟁력이 있음을 확인할 수 있다.

ASPECTS scoring 성능을 평가하기 위해 Hybrid model ASPECTS, RF ASPECTS과 EIS-Net을 비교하였다. EIS-Net이 모든 영역에서 가장 좋은 성능을 얻었다.

두 명의 전문가와 EIS-Net의 ASPECTS scoring을 비교한 결과이다. EIS-Net이 두 명의 전문가보다 더 좋은 결과를 얻었다.

DWI ASPECTS와 EIS-Net ASPECTS의 Bland-Altman plot이다. LoA [-2.9 − 2.8]의 결과를 얻었으며, hybrid model ASPECTS [-4.2 − 2.8], RF ASPECTS [-4.5 − 3.2]와 비교 했을 때 가장 좋은 결과를 얻었다.

EI segmentation 결과를 visualization한 그림이다. EIS-Net이 ground truth를 잘 따라가는 경향이 있다.

5. Conclusion

새로운 segmentation 접근법인 EIS-Net은 AIS환자의 NCCT에서 early infarct을 segmentation하기 위해 제안 되었다. 게다가 ASPECTS score까지 동시에 제공하는 multi-task learning strategy이다.

DWI를 참고한 high quality의 ground truth로 평가한 결과 EIS-Net이 SOTA methods을 뛰어 넘었다.

본 논문은 early infarct volume이 NCCT로 quantify가 가능함을 보여주며 EIS-Net은 AIS 환자의 치료를 management 할 때 많은 도움을 줄 수 있다.