2024년 2월 17일, arXiv에 공개
ABSTRACT
Handheld ultrasound devices face usage limitations due to user inexperience and cannot benefit from supervised deep learning without extensive expert annotations. Moreover, the models trained on standard ultrasound device data are constrained by training data distribution and perform poorly when directly applied to handheld device data. In this study, we propose the Training-free Image Style Alignment (TISA) framework to align the style of handheld device data to those of standard devices. The proposed TISA can directly infer handheld device images without extra training and is suited for clinical applications. We show that TISA performs better and more stably in medical detection and segmentation tasks for handheld device data. We further validate TISA as the clinical model for automatic measurements of spinal curvature and carotid intima-media thickness. The automatic measurements agree well with manual measurements made by human experts and the measurement errors remain within clinically acceptable ranges. We demonstrate the potential for TISA to facilitate automatic diagnosis on handheld ultrasound devices and expedite their eventual widespread use.
Introduction
휴대용 초음파 장치는 빠르게 발전하고 있으며, 자원이 부족한 환경에서 그 사용성과 경제성 덕분에 특히 유용하다. 의료 제공자의 초음파 지식 부족으로 인해, 휴대용 장치의 확산에는 사용자 미숙이라는 장벽이 존재한다.
현재 AI 모델을 휴대용 장치에 적용하기 위한 두 가지 주요 장애물은 다음과 같다: (1) 고품질 전문가 주석이 많이 필요하고, (2) 표준 장치에서 훈련된 모델은 다른 시스템에서 수집된 데이터에 대해 성능 저하를 겪는다.
본 연구에서는 휴대용 초음파 장치를 위한 훈련이 필요 없는 이미지 스타일 정렬 접근법을 제안한다. TISA는 휴대용 장치로 획득한 이미지를 표준 장치 기반 모델에 적합하게 정렬할 수 있다. 기존 방식과 달리 TISA는 모델 업데이트가 필요 없으며, 임상에서 사용되는 휴대용 장치에 더 적합하다. TISA는 기존 방법보다 두 가지 작업에서 뛰어난 성능을 보이며, 전문가가 얻은 결과와 일치하는 자동 진단을 가능하게 한다.
연구팀은 표준 장치에서 수집된 데이터(source data)로 감지 모델과 diffusion 모델을 학습했다. 이후 훈련된 모델은 frozen 된 채, 휴대용 장치의 이미지(target data)를 표준 스타일로 정렬한다. 여러 스타일 정렬 이미지 중, 예측의 불확실성이 가장 낮은 결과를 최종 선택한다.
Results
1. Data construction and study design
우리는 초음파 척추 검사를 통해 소스 데이터와 타깃 데이터를 수집했고, 척추 구조 감지 및 척추 만곡 측정을 위해 타깃 데이터를 사용해 평가를 수행했다. 소스 데이터는 캐나다 병원에서 표준 초음파 장치 SonixTABLET을 사용하여 수집되었다. 타깃 데이터는 중국의 재활센터에서 휴대용 초음파 장치 Clarius C3를 사용해 수집되었다. 우리는 diffusion 모델을 훈련하기 위해 모든 소스 이미지를 사용했고, 주석이 있는 소스 이미지를 사용해 강건한 불확실성 기반 감지 모델을 훈련시켰다.
우리는 TISA를 경동맥 타깃 데이터를 이용한 경동맥 내중막 분할 및 두께 측정을 통해서도 평가했다. 우리는 공개 경동맥 초음파 데이터셋인 CUBS를 소스 데이터로 사용했다. 우리는 중국 병원에서 휴대용 초음파 장치(Clarius L7)를 사용해 타깃 데이터를 수집했다.
2. Peformance of vertebral structure detection
(a) TISA와 기존 적응 방법들의 정확도, 재현율, F1 점수, 평균 오차 비교 (평균 ± SEM)
(b) UMAP 시각화: 특징 공간(feature space)에서의 소스, 타깃, 정렬된 이미지 분포를 보여줌.
(c) 실제 타깃 이미지와 해당 정렬 이미지 예시.
TISA는 타깃 데이터에 대한 감지 평가에서 정확도 70.99%(95% 신뢰 구간: 70.43–71.55%), 재현율 80.49%(77.66–83.32), F1 점수 75.75%(75.30–76.20), 평균 오차 3.47mm(3.45–3.49mm)를 달성하였다 (Figure 2a 참조). 적응 없이 소스 데이터로만 훈련된 감지 모델을 사용하는 source-only 방법과 비교했을 때, TISA는 정확도 18.61%, 재현율 52.80%, F1 점수 35.76%, 평균 오차 −1.78mm의 유의미한 향상을 보여주었다(p < 0.001, 양측 대응 t검정 기준). TISA는 이미지 스타일을 정렬하면서 구조적 세부사항을 보존하여 소스와 타깃 데이터 간 도메인 차이를 효과적으로 제거할 수 있다(Figure 2b, 2c).
우리의 방법은 모든 지표에서 기존 접근법보다 일관되게 더 나은 성능을 보여주었으며, 각 항목의 최고값 대비 정확도는 12.5%, 재현율 16.35%, F1 점수 14.68% 상승, 평균 오차는 1.79mm 감소했다. 또한, TISA는 다른 방법들보다 더 안정적인 것으로 나타났다. TISA는 평균의 표준오차(SEMs)가 더 낮았다.
3. Performance of automatic spinal curvature measurement
(a) 수기 초음파 vs 자동 측정: 정확성과 일치도가 매우 높음. TISA 기반 자동 측정은 전문가 수기 측정과 거의 동일한 수준의 신뢰성을 지님.
(b) X선 수기 측정 vs 자동 초음파 측정: 측정 결과의 일관성이 충분히 확보됨. Bland–Altman 분석에서 체계적 편향은 없음 (mean bias 1.5°)
(c) 두 명의 피험자 (각각 10–25°, 25–40° 사이의 만곡을 가짐)에 대해 세 방법 간 각도 측정 결과가 거의 일치함. TISA의 실제 활용 가능성을 보여줌.
우리는 각 초음파 스캔에서 TISA 프레임워크를 이용해 척추 구조를 감지하였고, 이 감지 결과를 자동으로 측정하였다(Figure 1b의 Step 2 참조). 수기 초음파 측정값과 비교했을 때, 우리의 자동 방법은 평균 절대 오차 2.6° ± 2.3°, 상관계수 0.92(p < 0.0001), R² 0.85를 보였다. 이는 보통 관찰자 간의 차이로 인해 나타나는 서로 다른 측정 방식 간 일반적인 변동 범위(5°) 이내에 해당한다. 수기 X선 측정값과 비교했을 때도, 자동 측정값은 상관계수 0.91(p < 0.001), R² 0.82로 강한 일치도를 보였고, 평균 절대 오차는 3.1° ± 2.3°였다. Bland–Altman 분석 결과 평균 편향은 1.5°였고, 표준편차는 3.5°, 오차 한계는 −8.5°에서 5.4° 사이였다(n = 73). 세 가지 측정 방법(자동 초음파, 수기 초음파, 수기 X선)은 서로 다른 정도의 척추 만곡을 가진 피험자에 대해 높은 일관성을 보였다(Figure 3c).
4. Performance of carotid intima-media segmentation and thickness measurement
(a) source-only 방법은 실행 간 편차가 매우 큼, TISA는 높은 일관성과 우수한 평균 성능을 동시에 보여줌.
(b) 수기 측정과 자동 측정 간 상당히 강한 일치도
(c) LI(빨간선)와 MA(초록선) 경계를 기반으로 두께가 자동 측정됨. 수기 측정과 시각적으로 유사함. TISA가 정렬 뿐 아니라 정확한 해부학적 분할도 가능함을 보여줌.
우리의 접근법은 Dice 점수 82.49%(95% 신뢰 구간: 79.80–85.18%), IoU 70.89%(67.29–74.49%)로 가장 높은 성능을 달성하였다(Figure 4a). 박스플롯은 TISA가 가장 높은 중앙값을 가졌음을 보여주며, 이는 여러 실행(run)에서 일반적으로 더 나은 성능을 나타냄을 의미한다. 자동 측정과 수기 CMIT 측정 간에는 상관계수 0.81(p < 0.0001), R² = 0.65의 강한 양의 선형 상관관계가 나타났다. Bland–Altman 분석 결과, 평균 편향은 0.014 mm, 표준편차는 0.123 mm였으며, 오차 한계는 –0.257 mm에서 0.228 mm 사이였다(n = 76). Figure 4c는 정렬된 이미지, 그에 대한 분할 예측 결과, 그리고 자동 측정값을 보여준다.
Discussion
우리는 표준 장치와 휴대용 장치 간의 도메인 차이를 적응시키기 위해 훈련이 필요 없는 이미지 스타일 정렬 기법(TISA)을 제안했다. TISA는 다른 도메인 적응 방법보다 더 나은 성능을 보였으며, 자동 진단에 사용되었을 때 전문가의 성능에 필적하는 결과를 보여주었다. TISA는 소규모이거나 고립된 데이터셋이 흔한 휴대용 초음파 장치에서의 AI 응용에 유망한 가능성을 연다. TISA는 지속적인 모델 업데이트를 필요로 하지 않기 때문에 계산 비용이 더 낮고, 휴대용 장치에 적용하기에 더 적합하다.
