[2025/W08] 🤗 Weekly AI Research

2025년 8주차에 공개된 주목할만한 AI 분야의 논문들을 소개합니다.

TL;DR

대규모 언어 모델 및 자연어 처리에서는 LLaDA를 포함한 확산 기반 언어 모델이 기존 자동회귀 모델을 대체할 가능성을 보였으며, Soundwave가 적은 데이터로도 뛰어난 음성-텍스트 정렬 성능을 달성하였습니다.

생성 모델 및 확산 모델에서는 RAS 기법이 확산 모델의 실시간 성능을 최대 2.5배까지 향상시키는 것으로 나타났으며, Step-Video-T2V가 고품질 비디오 생성을 위한 새로운 접근법을 제시하였습니다.

멀티모달 AI 및 강화 학습에서는 Magma와 Qwen2.5-VL이 시각적 이해 및 에이전트 태스크에서 강력한 성능을 보였으며, SigLIP 2가 다국어 비전-언어 인코딩 성능을 크게 개선하였습니다. 또한, The Danger of Overthinking 연구는 AI 에이전트가 과도한 내부 추론을 수행하는 문제를 분석하고 이를 완화하는 방법을 제안하였습니다.

AI 평가 및 효율적인 모델 학습에서는 SuperGPQA가 285개 전공에 걸친 LLM 평가를 가능하게 하는 새로운 벤치마크를 도입하였으며, LoRA 기반 모델 업데이트 연구는 기존 지식을 유지하면서 새로운 정보를 추가하는 최적의 방법을 탐색하였습니다.

대규모 언어 모델 및 자연어 처리 분야

Large Language Diffusion Models*

Paper, Project

기존 대규모 언어 모델(LLM)은 주로 자동회귀 모델(ARMs)을 기반으로 구축되었으나, 본 연구에서는 확산 모델인 LLaDA를 도입하여 이를 대체할 가능성을 탐구하였습니다. LLaDA는 데이터 마스킹과 역전 과정을 통해 확률적 추론을 수행하며, 일반적인 Transformer를 사용하여 마스킹된 토큰을 예측합니다. 이를 통해 LLaMA3 8B 수준의 인컨텍스트 학습 성능을 보이며, "reversal curse(역전 저주)" 문제를 해결하여 GPT-4o보다 우수한 성능을 기록하였습니다.

Continuous Diffusion Model for Language Modeling

Paper, Project

기존 확산 모델은 범주형 데이터 모델링에 한계를 보였으며, 연속적인 데이터 흐름을 활용하는 방식이 부족하였습니다. 본 연구에서는 범주형 확률 분포의 기하학적 특성을 반영한 연속 확산 모델을 제안하며, 자동회귀 모델에 근접하는 성능을 달성하였습니다. 또한, 새로운 방사형 대칭 기반 학습 기법을 도입하여 높은 차원의 확률 공간에서 최적화를 수행할 수 있도록 설계하였습니다.

Cramming 1568 Tokens into a Single Vector and Back Again: Exploring the Limits of Embedding Space Capacity

Paper

기존 연구들은 토큰 시퀀스를 실수 벡터로 압축하여 계산량을 줄이는 방식을 사용하였으나, 본 연구에서는 기존 기법이 최대 10배 압축률을 넘지 못하는 원인을 분석하고, 이론적으로는 최대 1500배까지 압축이 가능함을 실험적으로 입증하였습니다. 이는 모델 입력 임베딩의 설계에 있어 최적화 가능성이 크다는 점을 시사합니다.

Native Sparse Attention: Hardware-Aligned and Natively Trainable Sparse Attention*

Paper

긴 문맥을 처리하는 것은 차세대 언어 모델에서 중요한 요소이나, 기존 어텐션 메커니즘은 높은 계산 비용이 문제였습니다. 본 연구에서는 네이티브 희소 어텐션(NSA) 기법을 제안하여, 토큰 압축과 선택을 통해 계산량을 줄이면서도 높은 성능을 유지할 수 있도록 하였습니다. 실험 결과, 64k 길이 시퀀스에서 NSA를 적용한 모델이 기존 완전 어텐션 모델과 유사한 성능을 유지하면서도 연산 속도를 대폭 개선할 수 있음을 보였습니다.

Soundwave: Less is More for Speech-Text Alignment in LLMs*

Paper, Project

대규모 음성-텍스트 언어 모델(LLM)은 일반적으로 대량의 주석 데이터를 필요로 하지만, 데이터 효율적인 학습 방법에 대한 연구는 부족하였습니다. 본 연구에서는 음성과 텍스트 간의 표현 공간 차이와 시퀀스 길이 불일치 문제를 해결하기 위한 새로운 모델인 Soundwave를 제안합니다. 효율적인 학습 전략과 아키텍처를 적용하여, Qwen2-Audio보다 적은 데이터로도 뛰어난 성능을 달성하였습니다. 특히, 학습 데이터 사용량을 기존 대비 1/50 수준으로 줄이면서도 음성 번역 및 AIR-Bench 음성 태스크에서 높은 성능을 유지하는 것으로 확인되었습니다.

생성 모델 및 확산 모델

Region-Adaptive Sampling for Diffusion Transformers

Paper, Project

확산 모델은 생성 태스크에서 뛰어난 성능을 보이지만, 다수의 순차적인 전방 과정을 수행해야 하므로 실시간 응용에는 한계가 있었습니다. 본 연구에서는 Diffusion Transformer(DiT)의 유연성을 활용하여, 이미지 내 영역별 샘플링 비율을 동적으로 조정하는 새로운 방법(RAS)을 제안하였습니다. 이를 통해 성능 저하 없이 최대 2.5배까지 속도를 향상시킬 수 있음을 보였습니다.

Step-Video-T2V Technical Report: The Practice, Challenges, and Future of Video Foundation Model

Paper, Project

30B 파라미터를 갖춘 최첨단 텍스트-비디오 변환 모델인 Step-Video-T2V를 소개하였습니다. Variational Autoencoder 기반의 비디오 생성 기법을 활용하여 고품질 비디오 출력을 제공하며, 3D 전면 어텐션 기반 DiT 모델과 Video-DPO 방식을 결합하여 보다 자연스러운 비디오 생성을 가능하게 하였습니다.

Phantom: Subject-consistent video generation via cross-modal alignment

Paper, Project

비디오 생성 모델이 발전하면서 특정 주제를 일관되게 유지하는 Subject-to-Video(S2V) 모델에 대한 연구가 진행되고 있습니다. 본 연구에서는 Phantom이라는 새로운 비디오 생성 프레임워크를 제안하여, 이미지와 텍스트 간의 정렬을 강화함으로써 보다 정확한 주제 일관성을 유지할 수 있도록 하였습니다.

멀티모달 AI 및 강화 학습

The Danger of Overthinking: Examining the Reasoning-Action Dilemma in Agentic Tasks

Paper, Project

대규모 추론 모델(LRM)은 강력한 문제 해결 능력을 보이지만, 환경과의 상호작용보다는 내부 추론을 지나치게 수행하는 경향이 있습니다. 본 연구에서는 이러한 ‘Overthinking’ 현상을 분석하고, SWE Bench Verified 실험을 통해 세 가지 주요 패턴(분석 마비, 오류 행동, 조기 종료)을 규명하였습니다. 또한, Overthinking을 완화하는 간단한 방법이 모델 성능을 30% 향상시키고 연산 비용을 43% 절감할 수 있음을 확인하였습니다.

SigLIP 2: Multilingual Vision-Language Encoders with Improved Semantic Understanding, Localization, and Dense Features*

Paper, Project

SigLIP 2는 다국어 비전-언어 인코더로, 기존 SigLIP 모델을 확장하여 더욱 강력한 시각-언어 이해 능력을 제공합니다. 본 연구에서는 캡셔닝 기반 사전학습, 자기지도 학습(Self-Distillation, Masked Prediction), 온라인 데이터 큐레이션 기법을 결합한 새로운 훈련 방식을 도입하였습니다. 이를 통해 기존 모델보다 제로샷 분류, 이미지-텍스트 검색, 비전-언어 모델의 전이 학습 성능이 향상되었습니다.

Magma: A Foundation Model for Multimodal AI Agents

Paper, Project

멀티모달 AI는 디지털 및 물리적 환경에서의 에이전트 태스크 수행 능력을 향상시키는 데 중요한 역할을 합니다. 본 연구에서는 Magma 모델을 제안하여, 기존의 비전-언어(VL) 모델을 확장하고, 시각-공간적 지능을 갖춘 AI 에이전트로 활용할 수 있도록 설계하였습니다. 실험 결과 UI 내비게이션 및 로봇 조작 태스크에서 기존 모델을 능가하는 성능을 보였습니다.

Qwen2.5-VL Technical Report*

Paper, Project

Qwen2.5-VL은 강화된 시각적 인식과 정밀한 객체 위치 추적을 가능하게 하는 최신 비전-언어 모델입니다. 특히, 문서 구조 분석 및 차트 해석에서 뛰어난 성능을 보이며, GPT-4o 및 Claude 3.5 Sonnet과 유사한 수준의 성능을 달성하였습니다.

MLGym: A New Framework and Benchmark for Advancing AI Research Agents*

Paper, Project

AI 연구 에이전트를 평가하고 개발하기 위한 새로운 프레임워크 및 벤치마크(Meta MLGym 및 MLGym-Bench)가 소개되었습니다. 강화 학습을 기반으로 AI 연구 태스크를 해결하는 데 초점을 맞추며, 13개의 개방형 AI 연구 태스크를 포함하고 있습니다.

AI 평가 및 효율적인 모델 학습

SuperGPQA: Scaling LLM Evaluation across 285 Graduate Disciplines*

Paper, Project

대규모 언어 모델(LLM)은 다양한 학문 분야에서 뛰어난 성능을 보이지만, 기존 벤치마크는 일부 분야에만 집중되어 있습니다. 본 연구에서는 SuperGPQA라는 새로운 벤치마크를 도입하여 285개의 세부 전공에서 LLM의 성능을 평가하였습니다.

How Much Knowledge Can You Pack into a LoRA Adapter without Harming LLM?

Paper, Project

LoRA는 LLM을 효율적으로 미세 조정하는 기법이지만, 기존의 지식을 유지하면서 새로운 정보를 추가하는 것은 어려운 과제입니다. 본 연구에서는 LoRA 기반 모델 업데이트의 한계를 분석하고, 학습 데이터 구성과 튜닝 전략에 따라 모델 성능이 달라지는 원인을 규명하였습니다.