LLM

Abstract RNN : 데이터를 고정 크기의 메모리에 압축 Transforemr : 전체 context window에 주목하여 모든 토큰 간의 직접적인 의존성 포착 $\rarr$ 계산 비용이 quadratic으로 증가하는 문제가 있어, 결국 모델이 다루는 conte

MEDAGENTS : Large Language Models as Collaborators for Zero-shot Medical Reasoning 논문 바로가기 MedAgent는 역할극(role-playing) 환경에서 LLM 기반 에이전트들이 협업적 다중 라운드

Abstract 지시 데이터를 수작업으로 생성하는 것은 많은 시간적&인적 리소스 발생 $\rarr$ 인간 대신 LLM을 이용하여 대량의 지시 데이터를 생성 Evol-Insturct : 지시문을 단계적으로 다시 작성(rewrite)하여 복잡한 지시문으로 진화시키는 기법

My comment 에빙하우스 망각 곡선 개념을 차용해 기억 갱신 메커니즘을 가져온 것 인상적임. But, 이 부분에서 더 발전시킬 수 있을 것 같다는 생각이 들었음. 인간의 기억 갱신 부분을 뇌과학 쪽에서 더 찾아봐서 이를 메커니즘화 하면 더 좋은 성능이 나오지 않을까라는 생각을 해봄 성능 평가 부분이 조금 아쉽다고 생각이 든다. 정성평가든 정량평가든 약...