2024년 4월 3일, NPJ Digital Medicine 게재
최근 LLM의 발전은 정보 통합부터 임상 의사결정 지원까지 의료분야에서 새로운 가능성을 열었다. 이러한 LLM은 단순히 언어를 모델링하는 것에 그치지 않고, 다양한 이해관계자와의 대화에서 상호작용하며 실제 임상 의사결정에 영향을 미칠 수 있느 ㄴ지능형 agent로 기능할 수 있다. 임상 데이터를 처리하거나 표준화된 시험 문제를 푸는 능력을 평가하는 기존 벤치마크에 의존하기보다, 실제 임상 환경을 고정밀도로 시뮬레이션하여 LLM 에이전트를 모델링하고 이들이 임상 업무에 미치는 영향을 평가해야 한다. 우리는 이러한 평가 체계를 '인공지능 구조화 임상 평가(AI-SCE)'라고 부르며, 이는 자율주행차처럼 여러 이해관계자가 존재하는 역동적 환경에서 일정 수준의 자율성을 가진 기계가 작동하는 유사 기술들로부터 아이디어를 얻을 수 있다. 이러한 강건한 실세계 기반 임상 평가를 개발하는 것은 LLM 에이전트를 의료 현장에 배치하는 데 있어 핵심적이다.
Development of LLM agents for clinical use
LLM 에이전트는 다양한 임상 도구 및 정보 접근을 통해 개발될 수 있다.
이미 의료 현장에서는 실제로 LLM 기반 임상 에이전트를 도입하고 있다.
Clinical simulations using agent-based modeling(ABM)
LLM 기반 챗봇의 효용성과 안전성을 평가하기 위해 기존의 제한된 벤치마크를 넘어서야 한다.
ABM 방식을 통해 시뮬레이션 환경을 구성하면 LLM 에이전트를 효과적으로 평가할 수 있다.
LLM 에이전트가 실제로 배치될 임상 환경을 시뮬레이션 함으로써, 에이전트의 상호작용 방식이나 오류 지점을 파악할 수 있다.
환자와 의사 역시 LLM 에이전트로 시뮬레이션 할 수 있다.
한줄 요약: ABM을 활용한 시뮬레이션은 임상 현장에서의 LLM 에이전트 성능을 현식ㄹ적으로 평가하는 효과적인 수단이다.
Evaluating agent-based simulations using an AI-SCE framework
기존 NLP 벤치마크는 임상 LLM 에이전트의 전체 능력을 반영하지 못한다.
LLM의 실제 임상 업무 능력을 평가할 수 있는 AI-SCE 개발이 필요하다.
AI-SCE는 다학제 전문가들의 협력을 바탕으로 설계되어야 한다.
AI-SCE는 결과 뿐 아니라 LLM의 사고 과정, 도구 활용, 사용자와의 상호작용 등 중간 과정까지 평가해야 한다.
이러한 시뮬레이션이 실제 현장을 얼마나 잘 반영하는지 비교하기 위해 RCT도 필요하다.
한줄 요약: LLM 에이전트를 평가하려면 정적 테스트 대신, 실제 임상 환경을 반영한 AI-SCE 시뮬레이션이 필요하며, 이는 다단계 평가와 인간 전문가의 참여를 포함해야 한다.
