Multimodal biomedical AI

2022년 Nature medicine에 published 된 review article. (https://www.nature.com/articles/s41591-022-01981-2)
전체적인 흐름을 확인하기 위해서 논문 리뷰! AI 발전이 너무 빨라서 지금이랑은 또 흐름이 달라지긴 했겠지만, 전체적인 큰 그림 파악 위해 간단하게 리뷰해보기.

Main

인공지능(AI)의 혁신적인 발걸음이 언어 해석에서부터 이미지 인식까지 다양한 영역을 변화시켰음에도 불구하고, 의학 분야는 아직 그 잠재력을 완전히 발휘하지 못하고 있음. 왜냐하면 의료 데이터는 굉장히 복잡하고 다양한 차원으로 구성되어 있고, 데이터 안에 내포된 수많은 고유한 특성들이 기술적 난관을 초래한다는 것을 의마한다.

대부분의 현대 의학에서 AI 응용은 한정된 데이터 유형에 국한되어 있지만, 실제 임상 환경에서는 의사들이 다양한 소스와 모달리티의 데이터를 종합적으로 분석한다. 현재 AI 모델들은 대체로 단일 시점의 데이터에 의존하는 반면, 건강은 연속적인 상태로 봐야 함. 이론상 AI는 임상의가 사용하는 모든 데이터 소스를 활용할 능력을 가져야 하며, 심지어 유전체 의학과 같은 전문적 지식이 필요한 영역까지도 볼수 있어야 한다.

이러한 한계점을 극복하기 위해서 Multimodal AI model 개발이 이러한 격차들을 줄이는데 주요 역할을 할 수 있을 것이며, 이 모델들은 biosensors, genetic, epigenetic, proteomic, microbiome, metabolomic, imaging, text, clinical, social determinants and envi- ronmental data 등들을 통합하여, 개인 맞춤형 의료, 실시간 환자 상태 감시, 디지털 임상 시험, 가상 건강 코치 등 다양하게 의료환경에서 활용이 될 수 있을 것이다.

In this Review, we explore the opportuni- ties for such multimodal datasets in healthcare; we then discuss the key challenges and promising strategies for overcoming these. Basic concepts in AI and machine learning will not be discussed here but are reviewed in detail elsewhere.

Opportunities for leveraging multimodal data

Personalized ‘omics’ for precision health

최근 수십 년 간의 유전체 시퀀싱 기술의 혁신적인 발전으로, genome, proteome, transcriptome, immunome, epigenome, metabolome, 그리고 microbiome를 포함하는 다양한 ‘omics’ 데이터를 통해 생물학적 세부 정보를 파악할 수 있게 되었다. 이 데이터는 암과 같이 조직 수준에서 매우 다양한 많은 의학적 상태의 이해를 깊게 하고, 세포 및 조직 특이성을 보여주는 생물학적 경로를 밝히는 데 중요하다.

각 오믹스 분야들은 임상 및 연구에서 개별적으로 가치를 입증해 왔다. 하지만 이러한 다양한 유형의 데이터를 통합하는 것은 여전히 challenging하다. 오믹스 데이터, EHR, 의료 영상 데이터 등을 통합한다면 human health에 대해서 좀더 깊이 있는 이해가 가능할 것이고, 정밀하고 개인화된 치료, 진단 전략이 가능하게 한다. 이러한 멀티 오믹스 통합을 위해서 제안되는 여러 접근법으로, 대표적으로 computational graphs, PCA 같은 기법들이 제안되고 있다.

이러한 오믹스 데이터와 임상 데이터들의 통합을 통해서 암 연구에 좀더 진전을 일으킬 수 있다. 개인화된 오믹스 데이터와 조직병리학, 영상, 임상 데이터들의 결합을 통해서 환자 결과를 개선할 수 있는 중요한 도구로 개발될 잠재력이 있다. 유전체 데이터들은 한번만 확보되면 되고 비용도 효율적이지만, 유전체 데이터 단독으로만 사용하는 것은 한계가 있다. 하지만 이 유전체 데이터들을 다른 오믹스 데이터와 통합함으로, 개인의 유전적 배경과 환경 ㄴ노출 등 건강 상태의 연속체를 어떻게 형성하는지에 대한 더 동적이고 실시간 정보를 포착할 수 있을 것이다.

과학 분야가 발전함에 따라, 전체 유전체 시퀀싱의 비용 효율성 프로필은 점점 유리해지고 있고, 이미 사용 가능한 유전 데이터와 임상 및 생체 마커 데이터의 결합을 통해 이전에는 감지하기 어려웠던 조건을 신속하게 진단할 수 있게 된다. 결국, 다양한 오믹스 데이터를 포함하는 다모달 AI를 개발할 수 있는 능력은 개인의 심층적인 표현형을 정의하는, 즉 각 개인의 생물학적 독특함과 그것이 건강에 어떻게 영향을 미치는지에 대한 진정한 이해로 발전할 것이다.

Digital clinical trials

임상 시험은 새로운 진단, 예후 및 치료적 개입의 효과를 평가하고 근거를 제공하는 데 있어 매우 중요하지만,고품질 임상 시험의 기획 및 실행을 하기 위해서는 많은 시간과 비용이 들며, 참여자 모집과 추적 관찰에 수년이 걸릴 수 있다. 또한, 참여에 대한 지리적, 사회문화적, 경제적 격차로 인해 여러 그룹이 대표성이 부족한 문제가 있다. 이러한 한계를 극복할 수 있는 방법 중 하나가 'Digital clinical trials'이다. 디지털 임상 시험은 참가자 모집 및 유지, 참여 촉진, 시험 측정 및 개입의 최적화를 통해 장벽을 줄일 수 있는 기회를 제공한다.

웨어러블 기술(심박수, 수면, 신체 활동, 심전도, 산소 포화도, 혈당 모니터링 등)과 스마트폰을 통한 자가 보고 설문지로부터의 데이터는 임상 시험 환자를 모니터링하고, 부작용을 식별하거나, 시험 결과를 확정하는 데 유용할 수 있다. 또한, 웨어러블 센서에서의 데이터가 실험실 결과를 예측할 잠재력이 있다는 최근 연구가 있다. 다양한 웨어러블 센서로부터의 데이터와 임상 데이터를 효과적으로 결합하는 것은 여전히 도전이지만 큰 기회이기도 하다. 디지털 임상 시험은 참가자의 다양한 데이터 소스를 활용하여 자동으로 표현형을 분류하고 하위 그룹을 만들 수 있고, 이는 실시간으로 시험을 수정할 수 있는 적응형 임상 시험 설계에 유용할 수 있다.

Remote monitoring: the ‘hospital-at-home’

최근 바이오센서, 지속적 모니터링, 분석 기술의 발전으로 인해 병원 환경을 개인의 집에서 재현할 가능성이 증가하고 있다. 비교적 저렴한 비침습적 장치(스마트워치나 밴드 등)의 사용이 증가하고 있으며, 이러한 장치들은 여러 생리학적 지표를 정확하게 측정할 수 있다. 이 데이터를 전자 건강 기록(EHR)에서 파생된 데이터와 결합하여, 환자의 기저 질환 위험에 대한 관련 정보를 조회함으로써 더 개인화된 원격 모니터링 경험을 환자와 간병인에게 제공할 수 있다. 또한 환자가 있는 환경 내 위치한 주변 무선 센서(예: 비디오 카메라, 마이크, 깊이 카메라, 라디오 신호 등)는 데이터를 수집하는 추가적인 기회를 제공한다. 이러한 센서는 가정과 의료 기관에서 원격 관리 시스템을 개선할 잠재력이 있다.

이러한 다양한 모달리티 및 센서에서의 데이터 통합은 원격 환자 모니터링을 개선하는 유망한 기회를 제공한다. 예를 들어, 주변 센서(깊이 카메라와 마이크 등)와 웨어러블 데이터(신체 활동을 측정하는 가속도계 등)의 결합은 낙상 감지 시스템의 신뢰성을 향상시키고, 거짓 경보율을 낮출 수 있는 잠재력을 가지고 있다. 또한, 일상 생활 활동을 통한 신체 기능 상태의 조기 감지는 적시에 임상적 관리를 제공하는 데 매우 중요하며, 웨어러블 장치와 주변 센서에서의 멀티모달 데이터 활용은 이러한 활동에서의 어려움을 정확하게 감지하고 분류하는 데 도움이 될 수 있다.

또한 앞선 만성, 퇴행성 환자들에 대한 관리를 넘어서, 원격 모니터링은 급성 질환 환자에게도 유용할 수 있다. 메이요 클리닉에서 실시한 최근 프로그램은 COVID-19 환자들의 원격 모니터링의 실현 가능성과 안전성을 보여주었다. 하지만 아직은 원격 환자 모니터링은 아직 검증되지 않았기에, 안전성에 손상이 없음을 보여주기 위해 다모달 AI 기반 원격 모니터링과 병원 입원을 비교한 무작위 시험이 필요하다.

Pandemic surveillance and outbreak detection

COVID-19 팬데믹은 국가 및 주 수준에서 효과적인 감염병 감시의 필요성을 부각시켰다. 한 연구는 웨어러블 장치를 사용하여 측정된 안정 심박수와 수면 시간을 활용하여 미국 내 인플루엔자 유사 질환의 감시를 개선할 수 있음을 보여주었다. 이 초기 성공은 다양한 웨어러블 데이터 세트를 분석하여 인플루엔자, 코로나바이러스 및 기타 빠르게 확산되는 바이러스 질병의 출현을 신속하게 감지할 수 있도록 하는 앱 기반 연구 프로그램인 DETECT(Digital Engagement and Tracking for Early Control and Treatment) 건강 연구로 발전했다. 이 프로그램에서 수행된 후속 연구는 참가자가 자가 보고한 증상과 센서 측정치를 함께 고려함으로써, 단일 모달리티만 사용할 때보다 성능이 향상되었음을 보여주었고, COVID-19 양성 대 비양성 상태를 분류하는 데 있어 AUROC 값이 0.80(95% 0.73–0.86)에 도달했다. 팬데믹 대비 및 대응에서 멀티모달 AI 모델의 여러 다른 사용 사례가 유망한 결과를 보였지만, 이러한 결과의 추가 검증 및 복제가 필요하다.

Virtual health assistant

최근 몇 년 동안 미국 소비자의 3분의 1 이상이 스마트 스피커를 구매했음에도 불구하고, 건강 상담을 제공할 수 있는 디지털 AI 기반의 가상 건강 보조자는 아직 널리 개발되지 않았다. 시장에 나와 있는 가상 건강 보조자 대부분은 특정 질환 또는 사용 사례를 목표로 하며, 대부분 규칙 기반 접근 방식과 사전 정의된 앱 주도 대화에 의존한다.

현재 가장 인기 있는 가상 건강 보조자 응용 분야 중 하나는 당뇨병 관리이다. Virta Health, Accolade, Onduo by Verily (Alphabet)와 같은 회사들은 당뇨병 조절을 개선하기 위한 애플리케이션을 개발했으며, 일부는 프로그램을 따른 개인의 혈색소 A1c 수치 개선을 보여주었다. 이러한 회사들은 고혈압 조절, 체중 감량과 같은 다른 사용 사례로 확장하는 과정에 있다. 두통, 천식, 만성 폐쇄성 폐질환과 같은 흔한 질환을 다루는 가상 건강 코치의 다른 예시도 있습니다.

다양한 데이터 소스를 AI 모델에 통합하는 성공은 개인화된 가상 건강 보조자의 개발을 용이하게 할 것이다. 이러한 가상 건강 보조자는 개인화된 프로필을 활용하여 건강 관련 행동 변경을 촉진하고, 건강 관련 질문에 답하며, 증상을 분류하거나 적절할 때 의료 제공자와 소통할 수 있다. 중요하게도, 이러한 AI 기반 의료 코치는 임상 결과에 긍정적인 영향을 미치는 것을 무작위 임상 시험을 통해 입증하여 의료 분야에서 널리 받아들여질 필요가 있다.

AI와 멀티모달 데이터 통합을 가상 건강 보조자에 완전히 통합하기까지는 아직 갈 길이 멀다. 이는 기술적 도전, 데이터 관련 도전, 그리고 개인 정보 보호 도전을 포함한다. 대화형 AI의 빠른 발전과 점점 더 정교해지는 멀티모달 학습 접근 방식의 개발을 고려할 때, 우리는 미래의 디지털 건강 응용 프로그램이 정확하고 개인화된 건강 코칭을 제공하기 위한 AI의 잠재력을 포용할 것으로 기대된다고 한다.

Multimodal data collection

멀티 모달 데이터 수집의 필요성: 멀티모달 데이터를 활용한 응용 프로그램 개발의 성공은 잘 정의된 대규모 주석이 달린 데이터 세트의 수집, 정리 및 조화로부터 시작됨. 기술적 정교함이 데이터에 존재하지 않는 정보를 도출할 수 없기 때문에, 이는 매우 중요.

주요 국가 및 기관별 노력:

• UK Biobank: 2006년에 참가자 등록을 시작하여 50만 명 이상의 최종 참가자 수를 달성했으며, 사회인구학적 및 생활 습관 정보, 신체 측정치, 생물학적 샘플, 12리드 심전도 및 EHR 데이터 등 다양한 데이터를 수집.
• China Kadoorie Biobank & Biobank Japan: 각각 중국과 일본에서 유사한 다모달 데이터 수집 노력이 진행되었음.
• USA Million Veteran Program: 백만 명의 베테랑을 등록할 목표로 시작
• NIH Trans-Omics for Precision Medicine (TOPMed): 다양한 오믹스 데이터와 함께 WGS를 수집하고, 100만 명의 다양한 참가자를 등록하는 것을 목표

독립적 및 다기관 노력:

• Project Baseline Health Study: Verily에 의해 자금 지원을 받고, 스탠퍼드 대학교, 듀크 대학교와 함께 관리되며, 다양한 다모달 데이터를 수집
• American Gut Project: 참가자들로부터 미생물군 데이터를 수집하고, 일반 건강 상태, 질병 이력, 생활 습관 데이터를 조사
• MIMIC: 임상 이벤트의 발달을 예측하기 위한 AI 모델을 위한 벤치마크 데이터 세트 중 하나로, 다양한 환자로부터의 익명화된 데이터를 포함.

Technical challenges

Implementation and modeling challenges.

건강 데이터는 본질적으로 여러 영역(사회적, 생물학적, 환경적)을 아우르며, 이들은 복잡한 방식으로 우리의 웰빙에 영향을 미친다. 이 데이터는 대규모 수준(예: 질병의 존재 유무)부터 세부적인 미시 수준(예: 바이오마커, 프로테오믹스, 게놈학)까지 계층적으로 조직되어 있다. 현재의 의료 시스템은 방사선학 및 병리학 이미지, 자연어 데이터, EHR 내의 표와 자연어 문서 등 다양한 방식으로 데이터를 생성함으로써 이 멀티모달 접근 방식을 더욱 확장한다.

발전: 멀티모달 머신러닝은 다양한 유형의 데이터를 활용하고, 이러한 다양한 모달리티를 관련시키거나 결합하여 예측 성능을 향상시키는 모델을 개발하고 훈련하는 것을 목표로 한다. OpenAI의 CLIP 아키텍처와 같은 접근 방식은 이미지-텍스트 쌍에 대해 훈련되어, 세밀한 조정 없이도 경쟁력 있는 fully supervised 모델의 성능에 맞먹는다. 이와 유사하게, ConVIRT는 올바르게 짝지어진 이미지와 텍스트 예시의 유사성을 극대화하고 잘못 짝지어진 예시의 유사성을 최소화하는 대조 학습 방식을 사용하여 이미지와 텍스트 표현을 생성한다.

이상적인 멀티모달 모델은 다양한 유형의 데이터를 통합하고, 이 데이터 내에 포함된 개념을 유연하고 간결하게 표현하며, 모달리티 간에 유사한 개념에 대해 일치하는 표현을 생성하고, 필요에 따라 임의의 유형의 출력을 제공할 수 있어야 한다. 최근 Transformer같은 모델 구조들은 넓은 범위에 걸쳐 좋은 성능을 보이며, 신경망이 입력의 다른 부분에 동적으로 attention을 주도록 하며 처음에는 자연어 처리를 위해 제안되었으나 다른 모달리티로 성공적으로 확장되었다. (VIT!~요즘 멀티모달 모델들은 대부분이 transformer) 자연어 처리에서는 각 입력 토큰이 특정 단어에 해당하지만, 다른 모달리티에서는 이미지 또는 비디오 클립의 세그먼트를 토큰으로 사용한다다. Transformer는 다양한 모달리티 간 학습을 위한 통합된 프레임워크를 제공하지만, 모달리티별 특정 토큰화와 인코딩이 여전히 필요할 수 있다.

META AI의 연구는 관심 모달리티에 독립적인 self-supervised learning을 위한 통합된 프레임워크를 제안한다. DeepMind의 Perceiver와 Perceiver IO는 다양한 모달리티에 걸쳐 동일한 기본 아키텍처를 사용하는 학습 프레임워크를 제안하였고, 이 아키텍처들은 모달리티에 구애받지 않는 바이트 배열을 입력으로 사용하며, attention mechanism을 통해 정보의 흐름을 제한하여 대용량 메모리 비용을 피한다. Transformer는 레이블이 없는 데이터로부터 의미 있는 표현을 학습할 수 있는 능력을 가지고 있으며, 이는 고품질 레이블을 얻기 어렵고 비용이 많이 드는 생물 의학 AI에 있어 매우 중요하다.

이러한 데이터는 생물 의학 AI 설정에서 쉽게 사용할 수 없을 수 있다. 한 모달리티의 데이터를 활용하여 다른 모달리티의 학습을 돕는 'co-learning'이 가능한 해결책이다. 예를 들어, 레이블이 없는 언어 데이터에 pre-trained transformer는 다양한 작업에 잘 일반화될 수 있다.
멀티모달 건강 데이터에 포함된 고차원은 '차원의 저주'라는 중대한 모델링 도전을 제기한다. 이는 데이터 세트의 '블라인드 스팟'으로 이어질 수 있으며, 이는 모델의 실제 예측 성능에 영향을 미칠 수 있다. 이 문제를 완화하기 위한 전략으로는 최대 성능 작업을 사용한 데이터 수집, 크고 다양한 샘플 크기 확보, 도메인 지식을 활용한 특성 엔지니어링 및 선택, 적절한 모델 훈련 및 정규화, 엄격한 모델 검증 및 모델 모니터링이 포함된다. 미래 모델 개발은 이전 지식(예: 알려진 유전자 조절 경로 및 단백질 상호작용)을 통합할 수 있는 능력을 개발하는 것으로, 차원의 저주를 극복하는 또 다른 유망한 접근 방식이 될 수 있다. 대규모 데이터베이스에서 정보를 검색하여 모델을 강화하는 것은 사용 가능한 정보를 효과적으로 활용하고 해석 가능성과 같은 추가적인 이점을 제공한다.

멀티모달 퓨전 접근 방식:

• Early Fusion: 입력 모달리티나 특성을 처리 전에 결합하는 가장 단순한 방법이다. 이 방법은 많은 복잡한 데이터 모달리티에 적합하지 않을 수 있다.
• Joint Fusion: 훈련 과정에서 다양한 모달리티의 표현을 결합하고 공동으로 학습하는 더 정교한 접근 방식이다. 이는 모달리티별 특정 전처리를 허용하면서도 데이터 모달리티 간의 상호 작용을 포착한다.
• Late Fusion: 각 모달리티에 대해 별도의 모델을 훈련시키고 출력 확률을 결합하는 방법이다. 이는 간단하고 견고하지만, 모달리티 간 상호 작용에서 추상화할 수 있는 정보를 놓칠 수 있다.

다모달 퓨전의 응용:
시계열 모델에서는 구조화된 공변량 정보를 활용하여 골관절염 진행 예측과 같은 작업에 사용되었고, DeepMind는 EHR 기반의 고차원 데이터 세트를 사용하여 급성 신장 손상 예측에 RNN을 구축하였다. 두 모달리티의 퓨전(이미징 및 EHR 데이터)은 폐색전증 탐지 개선에 사용되었다. 또한 최근 DALL-E와 GLIDE와 같은 최신 이미지 생성 모델은 다양한 모달리티의 정보를 동일한 인코더에 결합하는 접근 방식을 채택하고 있다. 또한 DeepMind의 Gato는 다양한 작업을 수행하기 위해 텍스트, 이미지, 버튼 누름 등 다양한 토큰을 결합하는 일반적인 에이전트를 사용했다. Google Research는 멀티모달 퓨전을 위해 attention mechanism을 제안하여 모델이 모달리티 간 가장 관련성 높은 정보를 공유하도록 했다.

일부 모달리티(예: 3차원 이미징)는 큰 계산 능력을 요구하며, 대규모 오믹스나 텍스트 데이터를 처리하는 모델 구현은 중요한 인프라 도전을 제시한다. 최근 몇 년간 멀티모달 학습은 빠르게 발전했지만, 언급된 주요 도전을 모두 극복하기에 현재 방법이 충분하지 않을 수 있으므로 추가 혁신이 필요하다.

Conclusion

멀티모달 의료 AI는 타겟 식별 및 검증, 약물 상호작용 예측, 부작용 예측 등 약물 발견 분야에서 중요한 역할을 할 수 있는 다차원 데이터를 활용하는 다양한 작업에 열쇠를 제공한다. 이 리뷰에서 다룬 중요한 도전 외에도, 가짜 양성의 가능성과 클리니션들이 환자에게 위험을 해석하고 설명하는 방법 등, 범위 밖의 다른 중요한 문제들도 마찬가지로 중요하다.

다차원 생물 의학 데이터를 포착함으로써, 우리는 각 개인의 독특함을 이해하는 심층 표현형화의 도전에 직면한다. 대규모 다양한 다모달 건강 데이터를 수집하고 연결하기 위해서는 산업 및 부문 간 협력이 필요하다.
현재 데이터를 수집하고 저장하는 데 있어서는 능숙하지만, 데이터 분석에 있어서는 그렇지 못한다.

고차원 데이터를 의미 있게 처리하고 많은 흥미로운 사용 사례를 실현하기 위해서는 의료 커뮤니티와 AI 연구자들이 새로운 모델을 구축하고 검증하는 데 집중적인 공동 노력을 기울여야 하고, 최종적으로, 이러한 노력은 건강 결과를 개선하는 데 있어서 모델의 유용성을 입증해야 한다.