AMS-U-Net: automatic mass segmentation in digital breast tomosynthesis via U-Net
Paper Review
이번에 리뷰하고자 하는 논문은 바로 ' AMS-U-Net: automatic mass segmentation in digital breast tomosynthesis via U-Net'이라는 논문입니다. 해당 논문은 U-Net을 통해서 유방암 진단에 활용한 논문입니다. 특히, 본 논문에 대해서 공부하면서 느낀 점을 단순히 모델의 일관성 및 성능 향상을 위해서 Architecture에 대한 공학적인 접근이 아닌 단순한 이미지 재배치와 다양한 알고리즘을 통해서 풀어낸 점이 상당히 새로운 접근이라고 느껴진 논문입니다.
이제 본 논문에 대해서 리뷰를 시작해보도록 하겠습니다.
Abstract
유방암 검진 과정에서 DBT slice 재구성을 통해서 진단을 하게 됩니다. 이 과정에서 2D의 DBT slice를 3D slice로 재구성하는 과정에서 slice 수가 급증하게 됩니다. 이렇게 기하급수적으로 늘어나는 slice에 대해서 직접 수작업으로 Segmentation을 수행하기에는 현실적으로 어려움들이 존재하게 됩니다.
본 논문에서 제안한고자 하는 Automatic mass segmentation framework로 위의 문제들에 대해서 해결하고자 합니다. 수작업 없이 Mass segmentation에서 높은 성능을 기록하였으며 실제 전문의가 수행한 segmentation 결과와 유사한 수준임을 확인할 수 있었습니다.
Introduction
유방암 검진은 정기 검진과 조기 검진이 매우 중요합니다. 특히, 유방 조직의 특성 상 이상 징후를 정확하게 탐지하는 것이 어려운 문제점도 존재하게 됩니다. 더불어 이로 인해서 때때로 유방의 기능적 조직이 병변과 유사하게 보이는 상황들도 존재하게 됩니다. 현재 유방암 검진 과정에서 DBT 2D Slice를 3D로 재구성하여 조직 중첩을 낮추고 비교적 적은 방사선량으로 Mass를 탐지하는 과정으로 이어지고 있습니다. 앞서 이야기 했듯이 해당 재구성 과정에서 증가하는 DBT Slice를 직접 하나씩 Segmentation 하기에는 많은 어려움이 존재하며 Segmentation 성능이 진단에 큰 영향을 줍니다.
본 논문 이전에는 DCNN을 통해서 Segmentation을 수행하는 연구들이 이어졌습니다. 하지만 이러한 초기 연구들은 크게 두 가지 측면에서 한계점들이 존재하였습니다. 먼저, Computational extensiveness하다는 단점이 존재합니다. Patch를 추출하는 과정에서 Sliding window 기법은 연산량을 기하급수적으로 증가시키는 현상을 확인할 수 있습니다. 다음으로는 Decreased resolution이 있습니다. Pooling 기법에 의해서 출력 이미지의 Resolution 감소로 인한 Feature 손실이 생기는 현상들이 발생하였습니다.
본 논문에서 제안하는 Automatic mass segmentation framework는 처음부터 Medical 분야에서의 Segmentation을 위해 개발되어진 대표적인 Backbone 모델인 U-Net을 활용하고자 하였습니다. U-Net의 Architecture 특징으로 인해서 Decreased resolution 최소화 및 Multi-scale context 보존으로 성능 향상에 기여하였습니다. 더불어 U-Net의 경우, Highly detailed segmentation이 가능했으며 적은 데이터셋으로 학습 성능이 우수하단 점과 DCNN보다 빠른 실시간 처리량과 더 좋은 Segmentation 성능을 기록하였기 때문에 해당 모델을 선정하여 활용하고자 하였습니다.
Methodology
본 논문에서 지속적으로 강조하는 것은 앞 선 모델의 아키텍처에서 오는 이점뿐만 아니라 전처리 과정과 후처리 과정에 대해서 중요성을 언급하고 있습니다. 실제로 해당 논문을 리뷰함과 동시에 맨 처음에 이야기해드린 모델의 아키텍처 시각에서의 해결책 제안이 아닌 다양한 방식에서의 해결책 제안이 전처리와 후처리 과정에 해당하게 됩니다.
먼저, Pre-processing 과정에 대해서 확인해보도록 하겠습니다.
1. Pre-processing
DBT Slice의 이미지 특성 상 해상도가 매우 높지만 Mass region이 해상도에 비해서 매우 작은 특징이 있습니다. 이러한 특징을 가지고 있는 DBT Slice 이미지를 그저 단순하게 Resizing 하게 되는 경우, 해상도 감소로 이어지는 원인이 됩니다. 좌측 이미지의 경우 원본 이미지에 해당하며 우측 이미지는 좌측 이미지에 대해서 단순한 Resizing을 활용한 결과입니다. 실제로도 해상도 측면에서 많은 Loss가 발생함을 확인할 수 있습니다.
본 논문에서 제안하고 있는 Pre-processing의 각 단계는 크게 4가지로 볼 수 있습니다.
- Empty canvas creation - 동일한 크기의 빈 캔버스를 생성하게 됩니다.
- Image alignment - 각 원본 이미지를 캔버스 오른쪽을 기준으로 정렬을 하게 됩니다.
- Patch division - 각 이미지를 4개의 동일한 크기 패치로 나누게 됩니다.
- Ground truth processing - 지금까지 수행한 원본 이미지의 전처리 과정과 동일하게 전처리 된 이미지와 실제 레이블 간의 일관성 유지를 위해서 Ground truth에 대해서도 동일한 작업을 수행해줍니다.
위의 과정을 통해서 본 논문에서는 이미지에 대한 일관성을 유지할 수 있다는 장점에 대해서 이야기 하고 있습니다.
2. U-Net
본 논문에서 제안하고 있는 framework에서 사용하고 있는 모델은 위에서 언급했듯이 U-Net 구조를 채택하여 활용하고 있습니다. 기존의 U-Net과 다른 점이 존재한다면 그것은 바로 채널 수가 처음 제안된 U-Net과 비교했을 때, 절반 수준으로 동작하고 있습니다.
- Model input : 1024 x 1024 x 1
- Encoder - Downsampling
- 2 개의 3 x 3 conv
- ReLU function
- 2 x 2 Max-pooling을 통한 Downsampling- Decoder - Upsampling
- 2 개의 3 x 3 conv
- ReLU function
- 2 x 2 Up-conv을 통한 Upsampling- Output: 1 x 1 conv를 통한 Segmentation map 생성
3. Post-processing
마지막으로 Post processing 과정에 대해서 알아보도록 하겠습니다. DBT Slice의 이미지 특성 상 낮은 대비로 인해서 주변 Region과 Mass가 유사하여 Segmentation 성능이 저하한다는 한계점들이 존재하였습니다. 이를 해결하고자 후처리 과정을 도입하게 되었으며 크게 두 가지 스텝으로 수행되어집니다.
먼저, Gaussian filter를 적용하게 됩니다. 해당 필터링을 통해서 노이즈를 효과적으로 줄이면서 객체 경계 보존에 기여할 수 있다고 이야기하고 있습니다. 다음으로는 OTSU thresholding 과정을 수행합니다. 해당 과정은 가우시안 필터를 적용한 다음 남아있는 노이즈 제거 및 배경과 객체 분할에 기여하여 낮은 대비 속에서 해당 프레임워크의 ROI 영역인 즉, Mass region에 대해서 배경과 뚜렷한 분할을 수행할 수 있게 합니다. 위 사진을 보시게 되시면 (a)의 경우 원본 이미지를 의미하고 있으며 (b)의 경우 해당 하는 Mask 이미지라고 보시면 되겠습니다. 이후 (c)의 경우, 전처리 과정만 적용했을 때를 의미하고 있으며 전처리만 적용하였을 때 낮은 대비로 인해서 mask 이미지에서 손실이 발생함을 확인할 수 있습니다. 이후 (d)의 경우엔 가우시안 필터만 적용했을 때며 마지막 (e)가 가우시안 필터와 오츠 알고리즘을 모두 적용했을 때의 결과입니다. 위에 사진을 통해서 알 수 있듯이 실제 GT와 유사한 Mask를 생성한 것을 확인 할 수 있습니다.
Experiment
실험에서 활용한 데이터셋은 원내 데이터를 활용했으며 50명의 환자에게서 얻은 DBT slice 이미지를 활용하였습니다. Train과 Test 모두 각각 25명, 25명으로 나누어 수행했으며 활용하고자 하는 데이터셋의 전체적인 N수가 부족하다보니 Augmentation을 수행하였습니다. 본 논문에서 수행한 Augmentation 기법은 Rotation, Width/Height shift, Shear, Horizontal flip을 활용하였습니다. 본 논문에서 제안하고 있는 프레임워크의 성능에 대해서 다음과 같이 간략하게 볼 수 있습니다.
위의 사진에서 각 색상 별로 의미하는 바는 다음과 같습니다.
- Red line: pre-processing만 수행한 경우
- Blue line: OTSU threshold만 수행한 경우로 전처리 과정만 수행한 Red line보다 객체 식별 능력이 향상됨을 확인할 수 있습니다.
- Green line: Gaussian fliter + OSTU threshold 모두 적용한 경우로 가우시안 필터를 함께 활용하여 객체의 경계 분할에 효과적으로 기여하였음을 확인할 수 있습니다.
(a)의 경우, Raw Image이며 (b)의 경우, Ground truth로 방사선 전문의가 수동으로 Segmentaion한 결과입니다. (c)는 AMS-U-Net Predict 결과이며 Ground Truth의 파란색 윤곽선과 매우 유사함을 확인할 수 있습니다. 특히, 병변의 모양과 위치를 정확하게 포착할 수 있었습니다. (d)의 경우 (c)의 이미지를 확대한 것으로 모델의 예측과 전문의가 수행한 결과와 상당히 유사함을 확인할 수 있었습니다.
위의 이미지에서 생성된 Mask Image가 얼마나 실제 방사선 전문의가 수행한 결과와 유사한지 직관적으로 확인할 수 있었으며 단순히 전처리 과정만 수행하는 것이 하닌 후처리 작업을 추가적으로 수행한 결과를 통해서 객체와 배경의 분리 및 노이즈 제거가 탁월함을 확인할 수 있었습니다.
Conclusion
본 논문에서는 전처리 과정과 모델의 동작 그리고 후처리 과정을 통해서 유방암 진단에서 필요한 Segmentation 성능에 많은 기여를 수행하였습니다. 각 단계에서 중요한 기여를 다음과 같이 정리한 뒤 이번 논문에 대한 리뷰를 마무리하도록 하겠습니다.
