[2025/W12] 🤗 Weekly AI Research

2025년 12주차에 공개된 주목할만한 AI 분야의 논문들을 소개합니다.

TL;DR

언어 모델 및 비전-언어 모델 분야에서는 RWKV-7 "Goose"가 새로운 시퀀스 모델링 아키텍처를 도입하여 다국어와 영어 작업에서 우수한 성능을 보여주고, DAPO는 대규모 언어 모델의 강화학습 시스템을 통해 복잡한 추론 능력을 강화하는 기법을 적용하며, SmolDocling은 초소형 비전-언어 모델을 활용하여 문서의 내용, 구조, 공간 정보를 한 번에 변환하는 기술을 제공합니다.

비디오 생성 및 이해 분야에서는 ReCamMaster가 단일 비디오의 카메라 경로를 조절해 새로운 비디오를 생성하는 방법을 제시하고, DropletVideo는 다수의 동적 카메라 움직임과 상세 캡션을 포함하는 데이터셋과 기법을 통해 시공간적 일관성을 유지하는 자연스러운 비디오 생성을 가능하게 하며, Impossible Videos는 불가능하거나 반현실적인 비디오 콘텐츠를 생성하고 이를 이해하는 모델의 성능을 평가하기 위한 새로운 평가 체계를 마련하였습니다.

확산 모델 및 3D 생성 분야에서는 PLADIS가 희소 어텐션 기법을 활용하여 텍스트-투-이미지 확산 모델의 어텐션 성능을 개선하는 방법을 제안하고, One-Step Residual Shifting Diffusion은 이미지 초해상도를 위한 증류 기반 확산 모델로 단일 단계 복원을 통해 계산 비용을 줄이면서 성능을 향상시키며, DeepMesh는 강화학습 기반 오토리그레시브 방법을 이용해 3D 메시를 생성하여 복잡한 세부 묘사와 정밀한 토폴로지를 구현하고, FlashVDM은 Vecset Diffusion Model에서 VAE와 DiT의 디코딩 속도를 크게 향상시켜 빠른 3D 형태 생성을 실현하며, Infinite Mobility는 절차적 생성 기법을 적용해 고충실도의 관절형 3D 객체를 합성하는 방법을 개발하였습니다.

로봇 및 임베디드 에이전트 분야에서는 Being-0가 비전-언어 모델과 모듈식 스킬 라이브러리를 결합하여 복잡한 임베디드 작업과 실시간 제어가 필요한 휴머노이드 로봇 에이전트를 구현함으로써 자율 로봇 분야의 발전을 이끌고 있습니다.

언어 모델 및 비전-언어 모델

RWKV-7 "Goose" with Expressive Dynamic State Evolution

Paper, Project

RWKV-7 "Goose"는 새로운 시퀀스 모델링 아키텍처입니다. 이 모델은 30억 파라미터 규모에서 다국어 작업에 대해 최첨단 성능을 달성하였으며, 다른 모델보다 훨씬 적은 학습 토큰으로도 영어 작업에서 우수한 결과를 보입니다. 각 토큰 처리 시 상수 메모리와 상수 추론 시간을 사용하여 효율성이 매우 높습니다. 또한, 벡터 값 게이팅과 문맥 내 학습률을 포함한 새로운 델타 규칙 일반화 방식과 완화된 값 교체 규칙을 도입하여, 모델이 상태를 효과적으로 추적하고 모든 정규 언어를 인식할 수 있도록 설계하였습니다. 더불어, 학습 시 병렬 처리가 가능하여 Transformer 모델의 한계를 넘어서는 성능을 구현하였습니다. 마지막으로, 3.1조 토큰 규모의 대규모 다국어 데이터셋을 활용하여 1.9억에서 29억 파라미터에 이르는 네 가지 모델을 학습시켜 연구의 재현성과 개방성을 높였습니다.

DAPO: An Open-Source LLM Reinforcement Learning System at Scale

Paper, Project

DAPO는 대규모 언어 모델(LLM)의 추론 능력을 강화학습을 통해 높이기 위한 오픈 소스 시스템입니다. 최신 언어 모델은 복잡한 문제 해결을 위해 추론 스케일링을 진행하지만, 강화학습 관련 세부 기술이 공개되지 않아 연구자들이 재현하는 데 어려움을 겪었습니다. 이에 DAPO는 Decoupled Clip과 Dynamic Sampling Policy Optimization이라는 새로운 알고리즘을 도입하여, 대규모 모델의 강화학습에 필요한 네 가지 핵심 기법을 적용하였습니다. 이와 함께, 관련 학습 코드와 정제된 데이터셋을 공개하여 연구의 재현성을 높이고, 향후 대규모 언어 모델 강화학습 연구에 기여할 수 있도록 하였습니다.

SmolDocling: An ultra-compact vision-language model for end-to-end multi-modal document conversion

Paper, Project

SmolDocling은 문서의 내용, 구조, 그리고 공간 정보를 모두 포괄하여 변환하는 초소형 비전-언어 모델입니다. 이 모델은 한 페이지 전체를 한 번에 처리하며, 문서 내의 코드, 테이블, 방정식, 차트 등 다양한 요소들을 위치 정보와 함께 정확하게 인식합니다. 기존의 방식은 대규모 기초 모델이나 여러 모델을 조합하는 복잡한 파이프라인을 사용하였으나, SmolDocling은 2억 5600만 파라미터 정도의 경량 모델로서도 높은 성능을 보입니다. 추가로, 새로운 공개 데이터셋을 활용하여 모델의 성능을 향상시켰으며, 계산 비용을 크게 절감하였습니다.

비디오 생성 및 이해

ReCamMaster: Camera-Controlled Generative Rendering from A Single Video

Paper, Project

ReCamMaster는 한 개의 비디오만으로 카메라의 움직임을 조절하여 새로운 비디오를 생성하는 방법입니다. 기존 연구는 텍스트나 이미지 조건의 비디오 생성에 주로 집중하였으나, 주어진 비디오의 카메라 경로를 수정하는 문제는 상대적으로 덜 연구되었습니다. 이 방법은 여러 프레임에서 일관된 외관을 유지하면서, 동적 장면을 새로운 카메라 경로에서 자연스럽게 재현할 수 있도록 합니다. 사전 학습된 텍스트-투-비디오 모델의 생성 능력을 활용하고, 실제 촬영 환경의 특성을 반영한 다중 카메라 동기화 비디오 데이터셋을 구축하여 모델의 일반화 능력을 향상시켰습니다. 실험 결과, 본 기법은 기존 방법보다 우수한 성능을 보였으며, 비디오 안정화, 초해상도 및 아웃페인팅 등 다양한 응용 분야에 활용될 수 있습니다.

DropletVideo: A Dataset and Approach to Explore Integral Spatio-Temporal Consistent Video Generation

Paper, Project

DropletVideo는 비디오 생성 시 시공간의 일관성을 유지하는 방법을 제시하는 연구입니다. 생성된 비디오는 다양한 시점에서 객체와 장면의 외관이 일관되게 유지되어야 하며, 플롯의 타당성과 논리적 연속성을 보장해야 합니다. 기존 연구는 주로 시간적 일관성 또는 공간적 일관성에만 집중하였으나, DropletVideo는 카메라의 움직임이 플롯 전개에 미치는 장기적 영향을 동시에 고려합니다. 이를 위해 동적 카메라 움직임과 객체 행동을 포함하는 1,000만 개의 비디오로 구성된 데이터셋을 구축하였으며, 각 비디오에는 평균 206단어의 상세한 설명이 부여되어 있습니다. 이 데이터를 바탕으로 모델이 시공간적 일관성을 유지하며 자연스러운 비디오를 생성할 수 있도록 학습하였습니다.

Impossible Videos

Paper, Project

Impossible Videos는 기존 합성 비디오가 현실을 모방하는 데 그쳤던 점을 보완하여, 불가능하거나 반사실적, 반현실적인 비디오를 생성하고 이를 평가하는 연구입니다. 본 연구는 두 가지 주요 질문을 다룹니다. 첫째, 현재의 비디오 생성 모델이 주어진 프롬프트에 따라 불가능한 비디오 콘텐츠를 효과적으로 생성할 수 있는지, 둘째, 비디오 이해 모델이 불가능한 비디오를 정확하게 해석할 수 있는지입니다. 이를 위해 4개의 영역과 14개의 범주로 구성된 새로운 평가 체계를 마련하였으며, 모델의 창의성과 추론 능력을 종합적으로 평가하였습니다.

확산 모델 및 3D 생성

PLADIS: Pushing the Limits of Attention in Diffusion Models at Inference Time by Leveraging Sparsity

Paper, Project

PLADIS는 텍스트-투-이미지 확산 모델에서 어텐션 메커니즘의 한계를 극복하기 위한 새로운 방법입니다. 기존 확산 모델은 Classifier-Free Guidance와 같은 기법을 통해 고품질 이미지를 생성하지만, 추가 학습이나 신경망 함수 평가가 필요하여 효율성이 떨어지는 문제가 있었습니다. PLADIS는 희소 어텐션을 이용하여 추론 시 추가 학습 없이 쿼리와 키 간의 상관관계를 계산하는 방법을 제안합니다. 이 방식은 텍스트와 이미지 간의 정렬을 개선하고, 다양한 가이던스 기법과도 원활하게 통합되어 모델의 생성 품질을 높입니다. 실험 결과, PLADIS는 텍스트 정렬과 인간 선호도 평가에서 현저한 개선 효과를 보였습니다.

One-Step Residual Shifting Diffusion for Image Super-Resolution via Distillation

Paper

이미지 초해상도(SR)를 위한 확산 모델은 고품질 이미지를 생성하는 데 효과적이지만, 계산 비용이 매우 많이 듭니다. 일부 기존 방법은 현실적인 세부 묘사를 생성하지 못하거나 잘못된 구조를 만들어내는 문제가 있었습니다. 이에 본 연구에서는 ResShift 모델의 성능을 개선하기 위해 증류 기반 방법인 One-Step Residual Shifting Diffusion을 도입하였습니다. 이 방법은 학생 네트워크가 생성한 이미지가, 새로 학습된 가짜 ResShift 모델에 의해 교사 모델과 일치하도록 학습시키는 방식입니다. 그 결과, 단 한 번의 단계로 이미지를 복원할 수 있어 계산 비용을 크게 줄이면서 기존 방법보다 뛰어난 성능을 달성하였습니다.

DeepMesh: Auto-Regressive Artist-mesh Creation with Reinforcement Learning

Paper, Project

DeepMesh는 3D 애플리케이션에서 중요한 삼각형 메시를 생성하기 위한 기법입니다. 기존 오토리그레시브 방법은 정점 토큰을 순차적으로 예측하여 메시를 생성하지만, 생성되는 메시의 면 수가 제한되고 불완전할 수 있는 문제가 있었습니다. DeepMesh는 새로운 토크나이제이션 알고리즘과 효율적인 데이터 처리 전략을 도입하였으며, 강화학습을 통해 인간 평가와 3D 지표를 결합한 기준으로 모델을 학습시켰습니다. 이로 인해 복잡한 세부 묘사와 정밀한 토폴로지를 갖춘 3D 메시를 생성할 수 있게 되었으며, 기존 기법보다 우수한 성능을 보입니다.

Unleashing Vecset Diffusion Model for Fast Shape Generation

Paper, Project

FlashVDM은 Vecset Diffusion Model(VDM)을 기반으로 한 3D 형태 생성에서 발생하는 느린 디코딩 문제를 해결하기 위해 개발된 기법입니다. 기존의 3D 생성 모델은 고해상도 형태를 생성할 수 있으나, VAE 디코딩과 확산 샘플링 과정에서 속도 저하 문제가 있었습니다. FlashVDM은 DiT와 VAE의 디코딩 과정을 대폭 가속화하는 새로운 알고리즘을 도입하였습니다. DiT의 경우, 추론 단계 수를 최소화하면서도 안정적인 품질을 유지할 수 있도록 설계되었고, VAE는 효율적인 디코더 구조를 통해 계산 비용을 크게 줄였습니다. 이로 인해 3D 형태의 재구성과 생성 작업에서 기존 기법보다 훨씬 빠른 속도와 우수한 성능을 달성하였습니다.

Infinite Mobility: Scalable High-Fidelity Synthesis of Articulated Objects via Procedural Generation

Paper, Project

Infinite Mobility는 데이터 기반이나 시뮬레이션에 의존했던 기존 관절형 객체 생성 방법의 한계를 극복하기 위해 개발된 방법입니다. 본 기법은 절차적 알고리즘을 사용하여 고충실도의 관절형 객체를 생성합니다. 이를 통해 물리적 특성과 메시 품질 면에서 인간 주석 데이터셋에 버금가는 결과를 얻을 수 있습니다. 사용자 평가와 정량적 실험 결과, 이 방법은 최신 기술들과 비교하여 우수한 성능을 보였으며, 생성된 객체 데이터는 다른 생성 모델의 학습 자료로도 활용될 수 있습니다.

로봇 및 임베디드 에이전트

Being-0: A Humanoid Robotic Agent with Vision-Language Models and Modular Skills

Paper, Project

Being-0는 휴머노이드 로봇이 실제 환경에서 자율적으로 복잡한 작업을 수행할 수 있도록 설계된 에이전트 시스템입니다. 이 시스템은 비전-언어 모델을 이용해 고수준 인지 기능(지시 이해, 작업 계획, 추론 등)을 담당하며, 모듈식 스킬 라이브러리를 통해 저수준 동작(이동, 조작 등)을 안정적으로 수행합니다. 특히, 경량 비전-언어 모델 기반의 Connector 모듈이 언어로 된 명령을 실제 실행 가능한 스킬 명령으로 변환하여, 로봇의 이동과 조작을 동적으로 조율합니다. 모든 구성 요소는 저비용 온보드 컴퓨팅 장치에서 구동할 수 있도록 설계되어, 실내 환경에서 복잡한 작업을 효율적으로 수행하는 데 성공하였습니다.