[2025/W01] 🤗 Weekly AI Research

2025년 1주차에 공개된 주목할만한 AI 분야의 논문들을 소개합니다.

의료/헬스케어 AI 분야

HuatuoGPT-o1, Towards Medical Complex Reasoning with LLMs

Paper, Project

HuatuoGPT-o1은 의료 분야에서의 복잡한 추론 능력을 향상시키기 위해 개발된 새로운 언어 모델입니다. 수학과 달리 의료 분야에서는 추론의 정확성을 검증하기가 어렵다는 문제를 해결하기 위해, 의료 검증기(medical verifier)를 도입하여 모델의 출력을 검증할 수 있는 방법을 제안했습니다. 이 모델은 두 단계로 개발되었는데, 먼저 검증기를 통해 복잡한 추론 경로를 찾아 모델을 미세조정하고, 이후 검증기 기반 보상을 활용한 강화학습을 적용하여 추론 능력을 더욱 향상시켰습니다. 단 4만 개의 검증 가능한 문제만으로도 기존의 일반 및 의료 특화 모델들보다 우수한 성능을 보여주었습니다.

On the Compositional Generalization of Multimodal LLMs for Medical Imaging

Paper, Project

이 연구는 다중 모달 대규모 언어 모델(MLLM)의 의료 분야 활용에서 합성적 일반화(Compositional Generalization) 능력을 분석했습니다. 의료 이미지는 촬영 방식(Modality), 해부학적 영역(Anatomical area), 작업(Task)으로 정확히 정의될 수 있다는 점에 착안하여, 106개의 의료 데이터셋으로 구성된 Med-MAT를 구축했습니다. 실험 결과, MLLM이 이미 학습한 요소들을 재조합하여 처음 보는 의료 이미지도 이해할 수 있음을 확인했으며, 이러한 합성적 일반화가 다중 작업 학습에서 관찰되는 일반화의 주요 동인임을 밝혔습니다. 특히 이 접근방식은 제한된 데이터셋에서도 효과적으로 작동하고 다양한 모델 구조에서 일관된 성능을 보여주었습니다.

컴퓨터 비전/멀티모달 분야

VideoRefer Suite: Advancing Spatial-Temporal Object Understanding with Video LLM

Paper, Project

VideoRefer Suite는 비디오 대규모 언어 모델(Video LLM)이 비디오 내의 시공간적 세부 사항을 더 정확하게 이해할 수 있도록 개발된 종합적인 프레임워크입니다. 이 프레임워크는 세 가지 핵심 요소로 구성됩니다: 1) 다중 에이전트 데이터 엔진을 통해 구축한 70만 개의 객체 수준 비디오 지시 데이터셋(VideoRefer-700K), 2) 정확한 지역적, 순차적 표현을 포착할 수 있는 시공간 객체 인코더를 갖춘 VideoRefer 모델, 3) Video LLM의 시공간적 이해 능력을 종합적으로 평가하기 위한 VideoRefer-Bench입니다. 실험 결과, 이 모델은 비디오 내 객체 참조 작업에서 우수한 성능을 보여주었을 뿐만 아니라, 전반적인 비디오 이해 능력도 향상시켰습니다.

VideoAnydoor: High-fidelity Video Object Insertion with Precise Motion Control

Paper, Project

VideoAnydoor는 주어진 객체를 비디오에 자연스럽게 삽입할 수 있는 새로운 프레임워크입니다. 객체의 세부적인 외관을 유지하면서 동시에 일관된 움직임을 만들어내는 것이 핵심인데, 이를 위해 ID 추출기로 전반적인 특성을 주입하고 박스 시퀀스로 전체적인 움직임을 제어합니다. 특히 'pixel warper'라는 새로운 기술을 도입하여 참조 이미지의 주요 지점들과 그들의 움직임 궤적을 입력받아 세부적인 외관과 움직임을 정교하게 제어합니다. 또한 비디오와 정적 이미지를 모두 활용하는 가중 손실 기반 훈련 전략을 통해 삽입 품질을 향상시켰으며, 추가 학습 없이도 토킹헤드 생성, 가상 착용, 다중 영역 편집 등 다양한 응용이 가능합니다.

2.5 Years in Class: A Multimodal Textbook for Vision-Language Pretraining

Paper, Project

이 연구는 기존의 웹 크롤링 기반 데이터셋의 한계를 극복하기 위해, 온라인 교육 비디오를 활용한 새로운 '다중 모달 교과서' 데이터셋을 제안합니다. 2.5년 분량의 22,000시간에 달하는 교육 비디오에서 핵심 프레임, 음성 텍스트, OCR 텍스트를 추출하고 시간 순서대로 정리하여, 더 풍부한 기초 지식과 논리적 일관성을 가진 이미지-텍스트 데이터셋을 구축했습니다. 이를 통해 학습된 시각-언어 모델(VLM)은 특히 ScienceQA와 MathVista 같은 지식과 추론이 필요한 작업에서 우수한 성능을 보여주었으며, 맥락을 이해하고 시각적, 텍스트적 단서를 활용하는 능력도 향상되었습니다.

Explanatory Instructions: Towards Unified Vision Tasks Understanding and Zero-shot Generalization

Paper, Project

이 연구는 컴퓨터 비전(CV)이 자연어 처리(NLP)만큼의 제로샷 작업 일반화 능력을 달성하지 못하는 이유를 탐구합니다. 연구진은 CV가 "이미지 분할"과 같은 단순한 용어적 정의를 사용하는 것이 주요 장애물이라고 보고, 대신 입력 이미지에서 출력까지의 과정을 상세히 설명하는 '설명적 지시사항(Explanatory Instructions)'을 도입했습니다. 1,200만 개의 "이미지 입력 → 설명적 지시사항 → 출력" 데이터셋을 구축하여 자동 회귀 기반 시각-언어 모델을 학습시켰고, 그 결과 모델은 기존에 보지 못한 CV 작업에 대해서도 강력한 제로샷 일반화 능력을 보여주었습니다.

모델 최적화/효율화 분야

1.58-bit FLUX

Paper, Project

1.58-bit FLUX는 최신 텍스트-이미지 생성 모델인 FLUX.1-dev를 단 1.58비트(-1, 0, +1 값만 사용)로 양자화하는데 성공한 첫 번째 접근법입니다. 특히 이미지 데이터 없이 FLUX.1-dev 모델의 자기 감독 학습만으로 양자화를 수행하면서도, 1024 x 1024 해상도의 이미지 생성에서 원본과 비슷한 성능을 유지합니다. 1.58비트 연산에 최적화된 커널을 개발하여 모델 저장 공간을 7.7배, 추론 메모리를 5.1배 줄이고 추론 속도도 개선했으며, GenEval과 T2I Compbench 벤치마크에서 이미지 생성 품질을 유지하면서도 계산 효율성을 크게 향상시켰음을 입증했습니다.

Reconstruction vs. Generation: Taming Optimization Dilemma in Latent Diffusion Models

Paper, Project

VA-VAE(Vision foundation model Aligned Variational AutoEncoder)는 잠재 확산 모델의 최적화 딜레마를 해결하기 위한 새로운 접근법입니다. 기존에는 시각 토크나이저의 특징 차원을 늘리면 재구성 품질은 향상되지만, 이에 상응하는 더 큰 확산 모델과 더 많은 학습 반복이 필요했습니다. VA-VAE는 시각 토크나이저를 학습할 때 사전 학습된 시각 기반 모델과 잠재 공간을 정렬함으로써 이 문제를 해결합니다. 개선된 학습 전략과 구조 설계를 적용한 LightningDiT와 결합하여, ImageNet 256x256 이미지 생성에서 최고 성능(FID 1.35)을 달성했으며, 특히 64 에포크만에 FID 2.11 점수에 도달하여 기존 DiT보다 21배 이상 빠른 학습 속도를 보여주었습니다.

AI 시스템/프레임워크 분야

OS-Genesis: Automating GUI Agent Trajectory Construction via Reverse Task Synthesis

Paper, Project

OS-Genesis는 GUI 에이전트 학습을 위한 새로운 데이터 합성 파이프라인입니다. 기존의 방식이 미리 정의된 작업을 실행하거나 인간의 감독에 의존했던 것과 달리, OS-Genesis는 이 과정을 뒤집어 에이전트가 먼저 환경을 인식하고 상호작용한 후, 그 결과로부터 고품질의 작업을 도출하는 방식을 채택합니다. 또한 궤적 보상 모델을 사용하여 생성된 상호작용 궤적의 품질을 보장합니다. 실험 결과, OS-Genesis로 학습된 GUI 에이전트들은 기존 데이터 합성 방법들보다 더 나은 데이터 품질과 다양성을 보여주었으며, 어려운 온라인 벤치마크에서도 뛰어난 성능을 달성했습니다.

CodeElo: Benchmarking Competition-level Code Generation of LLMs with Human-comparable Elo Ratings

Paper, Project

CodeElo는 대규모 언어 모델(LLM)의 고급 코딩 능력을 평가하기 위한 새로운 경쟁 수준의 코드 생성 벤치마크입니다. CodeForces 플랫폼을 기반으로 하여, 최근 6개월간의 대회 문제들을 난이도 등급, 알고리즘 태그 등 상세 정보와 함께 수집했으며, 문제를 직접 플랫폼에 제출하여 평가하는 독특한 심사 방식을 도입했습니다. 특히 인간 참가자들과 비교 가능한 Elo 등급 계산 시스템을 개발하여, 33개의 LLM을 평가한 결과 o1-mini와 QwQ-32B-Preview가 각각 1578과 1261의 Elo 등급을 달성한 반면, 다른 모델들은 가장 쉬운 문제들도 어려워하며 인간 참가자 중 하위 25%에 머물렀습니다.

Next Token Prediction Towards Multimodal Intelligence: A Comprehensive Survey

Paper, Project

이 연구는 자연어 처리에서 시작된 다음 토큰 예측(Next Token Prediction, NTP)이 다양한 모달리티(텍스트, 이미지, 비디오 등)의 기계학습 작업에서 어떻게 활용되고 있는지 종합적으로 분석합니다. 특히 다중 모달 토큰화, 모델 아키텍처, 통합 작업 표현, 데이터셋과 평가, 향후 과제라는 다섯 가지 핵심 측면에서 분류 체계를 제시합니다. 최근 대규모 언어 모델이 텍스트 영역에서 이해와 생성 작업을 통합했듯이, 다른 모달리티의 작업들도 정보를 토큰화하여 NTP 프레임워크 내에서 효과적으로 처리할 수 있다는 것을 보여주며, 이는 다중 모달 인공지능 연구의 새로운 방향을 제시합니다.

3D/4D 생성 분야

Bringing Objects to Life: 4D generation from 3D objects

Paper, Project

이 연구는 사용자가 제공한 3D 객체를 텍스트 프롬프트를 통해 애니메이션화하는 새로운 방법을 제시합니다. 먼저 3D 메시를 '정적' 4D Neural Radiance Field(NeRF)로 변환하여 원본 객체의 시각적 특성을 보존하고, 이후 텍스트 기반 이미지-비디오 확산 모델을 사용하여 애니메이션을 생성합니다. 특히 자연스러운 움직임을 위한 점진적 시점 선택 프로토콜과 주의 맵을 활용한 마스크드 Score Distillation Sampling(SDS) 손실 함수를 도입했습니다. 실험 결과, 시간적 일관성, 프롬프트 준수도, 시각적 품질 면에서 기존 방법들보다 우수한 성능을 보여주었으며, LPIPS 점수 기준으로 최대 3배 향상된 정체성 보존을 달성했습니다.