[2025/W49] 🤗 Weekly AI Research

확산 트랜스포머 및 희소 어텐션 아키텍처 경량화와 도구 오케스트레이션을 통한 멀티모달 에이전트의 추론 고도화
긴 문맥 이해와 강화 학습 최적화를 기반으로 한 실시간 스트리밍 구현 및 전주기적 벤치마크 시스템 확립

From Code Foundation Models to Agents and Applications: A Practical Guide to Code Intelligence

Paper
이 논문은 데이터 수집부터 모델 학습, 미세 조정, 강화 학습, 그리고 에이전트 구축에 이르는 코드 LLM의 전체 수명 주기를 체계적으로 분석한 실용 가이드다. 범용 LLM과 코드 특화 LLM의 성능과 설계 트레이드오프를 비교 분석하고, 단순한 벤치마크 점수와 실제 소프트웨어 개발 환경 간의 격차를 조명한다. 또한, 다양한 실험을 통해 모델의 확장 법칙과 하이퍼파라미터 민감도를 검증하며, 학술적 연구 성과를 실제 산업 현장에 적용하기 위한 구체적인 방법론과 미래 연구 방향을 제시한다.

DeepSeek-V3.2: Pushing the Frontier of Open Large Language Models

Paper, Project
DeepSeek-V3.2는 독자적인 희소 어텐션(DSA) 기술을 도입하여 긴 문맥 처리의 연산 효율성을 극대화하면서도 GPT-5 수준의 강력한 추론 능력을 갖춘 오픈 소스 모델이다. 강화 학습 프레임워크와 대규모 사후 학습을 통해 수학 및 코딩 올림피아드에서 최상위권 성적을 기록했으며, 특히 고성능 버전은 복잡한 에이전트 작업에서도 탁월한 일반화 성능을 보인다. 또한, 도구 사용 능력을 향상시키기 위한 합성 데이터 파이프라인을 구축하여 에이전트의 지시 이행 능력을 크게 강화했다.

LongVT: Incentivizing "Thinking with Long Videos" via Native Tool Calling

Paper, Project
LongVT는 인간이 긴 영상을 이해할 때 전체를 훑어본 후 세부 내용을 확인하는 인지 방식에 착안하여, 도구 기반의 '전역-지역 추론 루프'를 구현한 비디오 에이전트 프레임워크다. LMM의 시간적 그라운딩 능력을 비디오 자르기 도구로 활용하여 필요한 장면을 정밀하게 탐색하며, 이를 위해 구축된 VideoSIAH 데이터셋을 통해 단계별로 학습된다. 이 모델은 증거가 흩어져 있는 긴 비디오 처리에서 발생하는 환각 문제를 줄이고, 다수의 벤치마크에서 기존 모델을 능가하는 성능을 입증했다.

Z-Image: An Efficient Image Generation Foundation Model with Single-Stream Diffusion Transformer

Paper, Project
Z-Image는 거대 파라미터 모델이 주류인 이미지 생성 분야에서 60억(6B) 파라미터 규모로 효율성을 극대화한 파운데이션 모델이다. 단일 스트림 확산 트랜스포머(S3-DiT) 아키텍처와 최적화된 전체 훈련 과정을 통해 적은 비용으로도 상용 모델에 필적하는 고품질 이미지를 생성한다. 특히 증류 기법이 적용된 Turbo 버전은 소비자용 하드웨어에서도 초고속 추론이 가능하여, 고비용 인프라 없이도 최첨단 이미지 생성 기술을 활용할 수 있는 길을 열었다.

DAComp: Benchmarking Data Agents across the Full Data Intelligence Lifecycle

Paper, Project
DAComp는 실제 기업 환경의 데이터 인텔리전스 업무를 반영하여 데이터 엔지니어링과 데이터 분석을 포괄하는 210개 작업으로 구성된 벤치마크다. 실험 결과, 최첨단 에이전트들조차 SQL 파이프라인 구축 같은 엔지니어링 작업에서 매우 낮은 성공률을 보였으며, 분석 작업에서도 개방형 추론에 어려움을 겪는 것으로 나타났다. 이 연구는 현재 에이전트들이 단순 코드 생성을 넘어 전체 파이프라인을 조율하는 능력과 엔지니어링-분석 간의 역량 통합이 시급함을 시사한다.

Live Avatar: Streaming Real-time Audio-Driven Avatar Generation with Infinite Length

Paper, Project
Live Avatar는 140억 파라미터의 대규모 확산 모델을 활용해 오디오 입력에 따라 고화질 아바타 영상을 무한하고 실시간으로 생성하는 시스템이다. 타임스텝 강제 파이프라인 병렬화(TPP) 기술로 연산 병목을 해소하고, 롤링 싱크 프레임 메커니즘(RSFM)을 통해 장시간 생성 시에도 영상의 일관성을 유지한다. 이를 통해 고성능 GPU 환경에서 지연 시간 없이 고품질의 아바타를 실시간 스트리밍할 수 있는 기술적 돌파구를 마련했다.

Qwen3-VL Technical Report

Paper, Project
Qwen3-VL은 텍스트, 이미지, 비디오를 통합적으로 처리하며 최대 256K 토큰의 긴 문맥을 지원하는 Qwen 시리즈 중 가장 강력한 시각-언어 모델이다. 순수 텍스트 이해력 강화, 긴 문맥 처리 능력 향상, 멀티모달 추론 능력 증대라는 세 가지 핵심 목표를 달성했으며, 아키텍처 개선을 통해 시공간 모델링 능력을 고도화했다. 다양한 크기와 형태(Dense, MoE)로 제공되어 성능과 효율성 간의 균형을 맞췄으며, 복잡한 시각-수학 문제 해결에서도 뛰어난 성과를 보였다.

ToolOrchestra: Elevating Intelligence via Efficient Model and Tool Orchestration

Paper, Project
ToolOrchestra는 소형 언어 모델이 다양한 도구와 다른 모델들을 효율적으로 관리하고 조정하도록 훈련시키는 오케스트레이션 방법론이다. 결과 품질과 효율성을 동시에 고려한 보상 체계 기반의 강화 학습을 통해, 8B 크기의 모델만으로도 '인류의 마지막 시험(HLE)' 같은 고난도 작업에서 GPT-5보다 높은 정확도와 효율성을 달성했다. 이는 거대 모델 없이도 정교한 도구 조정을 통해 복잡한 문제를 해결할 수 있는 가능성을 입증한 것이다.

Envision: Benchmarking Unified Understanding & Generation for Causal World Process Insights

Paper, Project
Envision은 텍스트-투-이미지 모델이 단순한 정적 패턴 매칭을 넘어 인과적 세계 지식을 제대로 이해하고 생성하는지 평가하는 벤치마크다. 단일 이미지가 아닌 연속적인 사건의 진행 과정을 생성하게 하여 시공간적 일관성을 엄격히 테스트하며, 이를 위한 새로운 평가 지표인 Envision-Score를 도입했다. 연구 결과, 통합 멀티모달 모델이 기존 특화 모델보다 인과적 서사 연결에는 유리하지만, 여전히 물리적 법칙과 논리적 흐름을 완벽히 반영하는 데에는 한계가 있음이 밝혀졌다.

Stabilizing Reinforcement Learning with LLMs: Formulation and Practices

Paper
이 논문은 대규모 언어 모델을 활용한 강화 학습에서 토큰 단위의 대리 목표가 전체 시퀀스 보상을 최적화할 수 있는 이론적 조건과 실용적 기법을 다룬다. 훈련과 추론 간의 불일치 및 정책 노후화를 최소화하는 것이 학습 안정화의 핵심임을 수학적으로 증명하고, 이를 바탕으로 중요도 샘플링, 클리핑, 라우팅 리플레이 등의 기술이 필수적임을 대규모 실험으로 검증했다. 이 연구는 LLM 기반 강화 학습의 불안정성을 해결하기 위한 구체적인 레시피를 제공한다.