[2025/W13] 🤗 Weekly AI Research

2025년 13주차에 공개된 주목할만한 AI 분야의 논문들을 소개합니다.

TL;DR

대형 언어 모델의 추론 성능은 LLM 내부의 핵심 특징을 희소 오토인코더로 분석해 조정함으로써 개선할 수 있습니다. 멀티모달 스트리밍 모델 Qwen2.5-Omni는 텍스트, 이미지, 오디오, 비디오 등 다양한 입력을 동시에 처리하며 스트리밍 방식으로 텍스트와 음성을 생성합니다. 테스트 타임 확장을 이용한 비디오 생성(Video-T1)은 추가 계산을 통해 최적의 경로를 찾아 텍스트에 맞는 고품질 비디오를 만들고, 효율적인 이미지 표현(When Less is Enough)은 불필요한 시각 토큰을 줄여 계산 비용을 낮추면서 필요한 정보만 유지합니다. 또한, 장기 문맥을 활용한 비디오 모델링은 연속 프레임 간 인과관계를 모델링해 긴 비디오에서도 일관성을 유지하며, 비디오 추론 강화(Video-R1)는 강화 학습과 고품질 이미지 데이터를 통해 비디오 기반 추론 능력을 크게 향상시킵니다. 마지막으로, 인터랙티브 생성 비디오 기반 게임 엔진은 AI가 실시간 생성하는 상호작용 비디오로 게임의 한계를 극복하고, 멀티에이전트 과학 문제 해결(MAPS)은 텍스트, 다이어그램 등 다양한 모달리티를 통합해 소크라테스식 질문과 7개 에이전트가 협력하여 복잡한 과학 문제를 해결합니다.

I Have Covered All the Bases Here: Interpreting Reasoning Features in Large Language Models via Sparse Autoencoders

Paper, Project

이 논문은 대형 언어 모델(LLM) 내부에서 추론을 가능하게 하는 핵심 요소들을 찾아내고자 합니다. 연구진은 희소 오토인코더(SAE)라는 기법을 이용해 신경망의 내부 표현을 여러 해석 가능한 특징들로 분해합니다. 그 후, 이러한 특징 중 어떤 요소들이 실제로 모델이 복잡한 문제를 해결하는 데 중요한 역할을 하는지 확인했습니다. 실험 결과, 특정 특징들을 조정하면 모델의 추론 성능이 향상됨을 보여주어, 대형 언어 모델의 내부 작동 원리를 처음으로 기계적으로 설명하는 계기를 마련했습니다.

Qwen2.5-Omni Technical Report

Paper, Project

이 보고서는 텍스트, 이미지, 오디오, 비디오 등 다양한 입력을 동시에 처리할 수 있는 멀티모달 모델 Qwen2.5-Omni를 소개합니다. 이 모델은 스트리밍 방식으로 텍스트와 음성을 생성할 수 있으며, 오디오와 비디오를 동시에 다룰 때 발생할 수 있는 동기화 문제를 해결하기 위해 새로운 위치 임베딩 방식(TMRoPE)을 도입했습니다. 또한, ‘Thinker-Talker’라는 두 개의 분리된 구조를 통해 텍스트 생성과 음성 생성을 독립적으로 처리함으로써 서로 간섭하지 않도록 설계되었습니다. 이와 같은 혁신 덕분에 Qwen2.5-Omni는 다양한 벤치마크에서 우수한 성능을 기록하며, 기존 모델들과 비교해 뛰어난 멀티모달 처리 능력을 보여줍니다.

Video-T1: Test-Time Scaling for Video Generation

Paper, Project

비디오 생성 분야에서는 학습 과정에서 비용을 많이 들이지 않고도 생성 품질을 높일 수 있는 방법이 중요한데, 이 논문에서는 바로 '테스트 타임 확장(Test-Time Scaling)'이라는 개념을 도입합니다. 즉, 학습 후 추론 과정에서 추가적인 계산을 사용해 비디오의 품질을 개선하는 방법입니다. 연구진은 노이즈 공간에서 더 나은 비디오 경로를 탐색하는 방식으로 접근하며, 처음에는 간단한 선형 검색 전략을 적용한 후, 비디오의 각 프레임을 적응적으로 확장하고 가지치기하는 'Tree-of-Frames' 기법을 제안했습니다. 이러한 방법을 통해 주어진 텍스트 설명에 맞춰 훨씬 더 질 높은 비디오를 생성할 수 있음을 보여줍니다.

When Less is Enough: Adaptive Token Reduction for Efficient Image Representation

Paper

비전 인코더는 이미지를 처리할 때 수많은 시각 토큰을 생성하여 풍부한 정보를 제공하지만, 이로 인해 계산 비용이 급증하는 문제가 있습니다. 이 논문에서는 모든 토큰이 동일하게 중요한 것이 아니라, 일부 토큰은 다른 중요한 정보로부터 쉽게 복원할 수 있다는 점에 착안했습니다. 연구진은 오토인코더와 Gumbel-Softmax 선택 메커니즘을 결합해, 꼭 필요한 시각 토큰만 선택하여 사용하도록 하는 방법을 개발했습니다. 그 결과, OCR 작업 등에서는 전체 토큰의 절반 이상을 줄여도 성능 저하가 거의 없었으며, 일반 작업에서도 극단적으로 많은 토큰을 줄여도 비슷한 성능을 유지할 수 있음을 확인했습니다.

Long-Context Autoregressive Video Modeling with Next-Frame Prediction

Paper, Project

비디오 생성에서는 긴 시간의 흐름 속에서 일어나는 변화, 즉 장기적인 문맥을 반영하는 것이 매우 중요합니다. 이 논문은 비디오 내 연속된 프레임 간의 시간적 관계를 효과적으로 모델링하기 위한 새로운 접근법을 제안합니다. 연구진은 ‘Frame AutoRegressive(FAR)’ 모델을 도입하여, 언어 모델이 단어 간의 관계를 학습하는 것처럼 비디오 프레임 간의 인과 관계를 학습시켰습니다. 또한, 기존의 위치 임베딩 방식이 긴 비디오에서는 한계가 있음을 지적하며, ‘FlexRoPE’라는 유연한 시간 감쇠 기법과 단기 및 장기 문맥을 동시에 활용하는 전략을 통해 효율적으로 긴 비디오 시퀀스를 처리할 수 있음을 입증했습니다.

Video-R1: Reinforcing Video Reasoning in MLLMs

Paper, Project

이 논문은 대형 멀티모달 언어 모델(MLLM) 내에서 비디오를 통한 추론 능력을 강화하는 방법을 제안합니다. 이전 연구에서 규칙 기반 강화 학습을 통해 언어 모델의 추론 능력을 향상시킨 경험을 바탕으로, 비디오 데이터에 특화된 강화 학습 알고리즘(T-GRPO)을 도입했습니다. 또한, 비디오 데이터의 부족 문제를 보완하기 위해 고품질의 이미지 추론 데이터를 함께 사용하여, 두 가지 데이터셋을 구축하고 훈련했습니다. 그 결과, Video-R1은 여러 비디오 추론 벤치마크에서 성능이 크게 향상되었으며, 일부 벤치마크에서는 상업용 모델보다 우수한 성능을 보였습니다.

Position: Interactive Generative Video as Next-Generation Game Engine

Paper

현대 게임 개발은 기존 게임 엔진의 한계로 인해 창의성과 비용 측면에서 어려움을 겪고 있습니다. 이 논문은 이러한 문제를 해결할 새로운 방향으로, 사용자가 직접 상호작용하며 실시간으로 생성되는 비디오를 기반으로 한 차세대 게임 엔진 개념을 제시합니다. 즉, 미리 제작된 콘텐츠 대신 인공지능이 실시간으로 고품질의 가상 환경을 생성하여, 게임의 세계를 무한히 확장할 수 있도록 하는 것입니다. 제안된 프레임워크는 핵심 모듈과 발전 단계에 따른 로드맵을 포함하고 있으며, AI가 게임 제작과 경험 방식을 근본적으로 바꿀 미래를 제시합니다.

MAPS: A Multi-Agent Framework Based on Big Seven Personality and Socratic Guidance for Multimodal Scientific Problem Solving

Paper, Project

과학 문제 해결에서는 텍스트뿐만 아니라 도표 등 다양한 정보가 함께 사용되는데, 이를 효과적으로 처리하는 것은 여전히 어려운 도전 과제입니다. 이 논문에서는 ‘MAPS’라는 다중 에이전트 프레임워크를 통해 이러한 멀티모달 문제를 해결하고자 합니다. 총 7개의 에이전트가 각기 다른 역할을 수행하며, 소크라테스식 질문과 피드백을 통해 문제 해결 과정을 단계적으로 이끌어갑니다. 또한, 문제 해결 과정 중 비판적 사고를 유도하는 Critic 에이전트를 도입해 더욱 깊이 있는 분석을 가능하게 하였습니다. 다양한 데이터셋에서 기존 최고 성능 모델보다 약 15.84% 더 나은 성능을 보여, 복잡한 과학 문제 해결에 있어 큰 진전을 이루었음을 확인할 수 있습니다.