Introduction
디지털 병리학에서 Whole Slide Image(WSI)를 활용하여 병리학자들이 regions-of-interests(ROI) 에 대하여 빠르게 비정상적인 조직 부분을 찾아낼 수 있게 되었다. 하지만, WSI의 해상도는 매우 크기에 병리학자들이 매일매일 직접 WSI를 이용해서 진단을 한다면 힘든 작업이 되고, 이로 인한 피로도로 정확도도 감소할 수 있다.
Computer-Aided Diagnosis(CAD) tool들은 이미 방사선 분야에서 진단에 영향을 미치는 부분을 segmentation 해주는 보조 역할로 많이 사용되고 있고, 이는 병리학에서도 활용될 수 있다. 앞으로 병리학적 사례 수가 증가하고, 이에 비해 병리학자는 부족할 것으로 예상되기에, 이러한 CAD를 개발하여 진단에 도움을 줄 수 있을 것으로 예상된다.
이전 연구에서 병리학을 위한 semantic segmentation이 많이 개발되었지만, 대부분 특정 질병을 진단하기 위해 특정 장기의, 특정 조직만을 대상으로 학습되어야 함. 저자들은 다양한 장기의 조직에서 추출한 patch-level의 annotation이 달린 데이터로 pixel-level의 예측을 하고자 함.
Dataset
위 논문에서 소개한 ADP 데이터 셋을 활용하였다.
ADP database는 같은 의료 기관에서 다양한 염색이 된 다른 healthy 병리학적 조직의 digital pathology patch들을 포함하고 있다. hierarchical HTT 분류법에 따라 레이블이 지정되어있으며, 아래 표 대로 3rd level의 morphological type(위)와 functional type(아래)으로 나누었다. 자세한 내용은 위 논문 참고.
ADP database는 patch level로 annotation이 되어있기 때문에, 저자들은 추가적으로 50개의 patch subset을 수작업으로 분할했다고 한다.
Methodology
방법론은 크게 네 단계로 나뉜다.
- 이미지가 patch로 나뉘고, 각각 patch-level HTT classification CNN 을 거쳐 tissue class를 예측
- pixel-level의 activation map을 예측하기 위한 segmentation 단계
- 추가적인 정보로 activation map을 보정하고, 이웃하는 패치들의 activatipn map은 겹치는 영역에서 평균하는 inter-HTT adjustment 단계
- inter-HTT adjustment 단계를 거친 결과를 HTT segmentation post-processing 단계로 전달하여 다시 slide 수준으로 조합
각 process는 morphological type과 functional type에서 독립적으로 시행된다. 3단계와 4단계 사이에서 boundary artifacts를 최소화하기 위해 패치 예측을 겹쳤다고 한다. 전체적인 틀은 아래 그림에 잘 나타나 있다.
1. Patch-level classification CNN
주어진 patch에 대해 multiple HTT label을 예측하기 위한 CNN이다. ADP database에서 third level의 31개 HTT를 예측하여 pre-training 되었고, 구조는 VGG-16과 유사하지만 몇 가지는 변형하였다.
- softmax 층은 sigmoid 층으로 대체되었다.
- 각 convolutional layer activation 후에 batch normalization이 adding되었다.
- flattening layer는 global max pooling layer로 대체되었다.
- normalization과 conv layer 사이에 dropout이 사용되었고, 마지막 두 개의 conv blocks와 fully connected layers는 삭제되었다.
VGG-16과의 자세한 차이점을 시각화하면 아래 그림과 같다.
2. Pixel-level Segmentation
patch-level prediction으로 pixel-level의 HTT prediction을 위해 저자들은 Grad-CAM으로 activation maps를 얻고, HTT confidence scores로 scaling 해 주었다.
3. Inter-HTT Adjustments
원본 ADP database는 비조직 및 비기능적 레이블이 없기 때문에, 저자들은 morphological, functional 유형을 위해 Background와 기타 활성화들을 인위적으로 생성했다. 따라서 ADP의 모든 픽셀을 유효한 클래스가 있도록 만들어 주었다.
“Background” Activation
디지털 병리 이미지에서 배경 픽셀은 주로 흰색을 띈다. 따라서 mean-RGB image 에 scaled-and-shifted sigmoid를 적용하여 white-illumination image를 얻고, 배경과 유사한 염색이 되어있던 조직 부분은 적절히 빼준 뒤 2D Gaussian blur인 로 예측 해상도를 줄인다.
“Other” Activation
functional type에서, non-background이고 non-functional 조직들은 배경이나 다른 functional 조직들에 비해 낮은 activation을 가져야 한다. 먼저, 아래 값들에 2D maximum 취해준다.
- 다른 모든 functional type의 activations
- 형태적 유형에서는 흰색 및 갈색 지방의 activation
- background activation
그 후, 아래처럼 이 probability map을 1에서 빼주고 scaling 해준다.
Class-Specific Grad-CAM
같은 patch에서 겹치는 Grad-CAM을 구별하기 위해 마지막으로 조정 단계를 거친다. 각 activation map을 다른 Grad-CAM의 2D maximum에서 빼주고 이를 “Class-Specific Grad-CAM(CSGC)”이라고 한다. 아래는 Inter-HTT Adjustments 단계의 구성을 시각화 한 것이다.
4. Segmentation Post-Processing
3 에서 나온 CSGC는 객체의 윤곽에 맞지 않는 모양의 예측을 생성해낸다. 이는 CNN-based segmentation algorithm에서 흔하게 발생하는 한계점이고, 이에 따라 저자들은 fully-connected Conditional Random Field(CRF) 를 사용하여 후처리 해준다.
multi-class segmentation을 위해 CRF에서는 두 픽셀의 feature 간 pairwise distance를 계산하기 위해 appearance kernel과 smoothness kernel을 사용한다.
, 는 position, 는 해당 픽셀의 RGB 값을 가진다.
CRF의 자세한 하이퍼파라미터는 논문 원본 참고
Results
실험에서는 patch-level, slide-level에 대한 평가를 모두 진행했다. 실험 데이터 셋은 위에서 언급한 ADP database와 Gland Segmentation(GlaS) challenge database를 이용하였다.
Quantitative Evaluation
ADP database의 tuning set에서 HistoSegNet의 morphological, functional type 별 IoU 결과는 아래와 같다. 왼쪽이 morphological, 오른쪽이 functional이다.
functional에서 훨씬 나은 결과가 있었다.
아래는 몇 가지 예시 patch들의 segmentation 결과이다.
Pathologist Validation on unseen WSIs
논문 원문 참고
Comparison with State-of-the-Art WSSS
저자들은 WSSS method에서 SOTA인 SEC, DSRG와 비교 실험을 하였다.
HistoSegNet이 다른 두 SOTA 모델에 비해 morphological type, functional type 모두 HTT label 예측에 훨씬 효과가 있었다.
GlaS Challenge Dataset Evaluation
논문 원문 참고
