[2025/W15] 🤗 Weekly AI Research

2025년 15주차에 공개된 주목할만한 AI 분야의 논문들을 소개합니다.

TL;DR

모델 경량화 및 효율성 개선 분야에서 SmolVLM 논문은 대형 VLM의 성능을 유지하면서도 연산 부담과 GPU 메모리 사용량을 극적으로 줄인 소형 멀티모달 모델을 제시하고, Hogwild! Inference 논문은 여러 LLM 인스턴스가 동일 어텐션 캐시를 공유하며 병렬로 협력해 추론 속도를 획기적으로 향상시키는 방식을 소개하며, Kimi-VL 논문은 제한된 파라미터 활성화로도 복잡한 이미지와 비디오 이해 등 다양한 작업을 효율적으로 수행하는 MoE 기반 비전-언어 모델을, Skywork R1V 논문은 경량 비주얼 프로젝터와 동적 체인 오브 씽크 기법을 통해 언어와 시각 모달리티를 정교하게 융합한 모델임을 보여줍니다.

생성 기술 및 멀티모달 콘텐츠 통합 분야에서는 OmniSVG 논문이 사전 학습된 비전-언어 모델을 활용해 복잡한 SVG 구조를 고품질로 생성하는 프레임워크를 제안하고, One-Minute Video Generation 논문은 Test-Time Training 레이어를 도입해 텍스트 스토리보드 기반 1분 비디오 생성을 가능케 하며, DDT 논문은 의미와 세부 정보를 분리한 디퓨전 트랜스포머로 이미지 생성의 학습 속도와 품질을 크게 개선했고, GPT-4o Image Generation 논문은 통합 생성 모델로서 GPT-4o의 다양한 이미지 생성 능력을 다각도로 평가합니다.

모델 해석 및 자기 반성 분야에서 Rethinking Reflection 논문은 언어 모델이 학습 초기부터 스스로 오류를 인식하고 수정하는 반성 능력을 보인다는 점을 실험적으로 입증하며, OLMoTrace 논문은 모델 출력의 근거를 수조 토큰 규모의 학습 데이터와 실시간으로 추적해 생성 결과의 투명성을 높이는 시스템을 개발함으로써, 전체적으로 AI 연구의 효율적 모델 운영, 창의적 콘텐츠 생성, 그리고 모델 자체의 해석 능력 향상이라는 세 가지 주요 분야로 발전하고 있음을 보여줍니다.

모델 경량화 및 효율성 개선 분야

SmolVLM: Redefining small and efficient multimodal models

Paper, Project

대규모 비전-언어 모델(VLM)은 뛰어난 성능을 자랑하지만, 막대한 계산 자원을 필요로 하여 모바일이나 엣지 디바이스에 적용하기 어렵습니다. 기존의 소형 VLM들은 대형 모델의 설계 방식을 그대로 답습하여 이미지 토큰화 과정이 지나치게 복잡해 GPU 메모리를 비효율적으로 사용하는 문제가 있었습니다. 이에 저자들은 연산 부담을 대폭 줄인 SmolVLM 시리즈를 제안합니다. 본 연구에서는 아키텍처 구성, 토큰화 전략, 데이터 구성 등 여러 측면에서 최적화를 시도해, 메모리 사용량을 최소화하면서도 이미지 및 비디오 작업에서 우수한 성능을 발휘할 수 있는 핵심 디자인 요소들을 찾아냈습니다. 그 결과, 가장 작은 SmolVLM-256M 모델은 1GB 미만의 GPU 메모리를 사용하면서도 300배 큰 다른 모델보다도 우수한 성능을 보였고, 가장 큰 2.2B 파라미터 모델은 최신 VLM들과 경쟁할 만한 성능을 유지하는 동시에 GPU 메모리 사용량을 절반으로 줄이는 성과를 달성하였습니다. 이와 같이 전략적인 아키텍처 최적화와 효율적인 토큰화, 정교하게 구성된 학습 데이터의 결합이 실용적이고 에너지 효율적인 소형 멀티모달 모델 구현에 큰 역할을 함을 보여줍니다.

Hogwild! Inference: Parallel LLM Generation via Concurrent Attention

Paper, Project

대규모 언어 모델(LLM)은 복잡한 문제 해결과 긴 형식의 콘텐츠 생성을 가능하게 하지만, 그 과정에서 긴 추론 시간이 필요합니다. 인간이 협업을 통해 문제를 해결하듯, 최근 연구에서는 여러 LLM 인스턴스가 공동으로 작업할 수 있는 협력 체계를 도입하려는 시도가 있었습니다. 본 논문에서는 여러 개의 LLM ‘워커’를 동일한 어텐션 캐시를 공유하며 병렬로 실행하도록 하여, 각 인스턴스가 서로의 진행 상황을 실시간으로 확인하면서 최적의 협업 전략을 스스로 결정할 수 있도록 하는 “Hogwild! Inference” 방식을 제안합니다. 이 방식은 롤타리 위치 임베딩(RoPE)을 활용해 재계산을 최소화하고 하드웨어 사용 효율을 높이는 한편, 추가 미세 조정 없이도 현대적 추론 능력을 갖춘 LLM들이 효과적으로 병렬 추론을 수행할 수 있음을 보여줍니다.

Kimi-VL Technical Report

Paper, Project

이 기술 보고서에서는 Kimi-VL이라는 효율적이고 오픈소스인 전문가 혼합(MoE) 기반 비전-언어 모델을 소개합니다. Kimi-VL은 2.8B 파라미터만 활성화하는 언어 디코더(Kimi-VL-A3B)를 사용하면서도, 다중 턴 에이전트 작업, 대학 수준의 이미지 및 비디오 이해, OCR, 수학적 추론, 그리고 다중 이미지 처리와 같은 도전적인 과제들에서 뛰어난 성능을 발휘합니다. 실제 평가에서는 최신의 효율적 VLM들과 견주어도 손색없는 성능을 보이며, 일부 영역에서는 GPT-4o조차도 뛰어넘는 결과를 기록하였습니다. 또한, 128K의 확장된 문맥 창과 native 해상도의 비전 인코더 MoonViT를 통해 장시간의 입력과 고해상도 비주얼 데이터를 효율적으로 처리하며, 계산 비용도 낮게 유지합니다. 더불어, 장기적 추론 능력을 강화한 Kimi-VL-Thinking 모델은 체인 오브 씽크 기반의 감독 학습과 강화 학습을 통해 한층 더 발전된 멀티모달 문제 해결 능력을 보여줍니다.

Skywork R1V: Pioneering Multimodal Reasoning with Chain-of-Thought

Paper, Project

Skywork R1V 논문은 기존의 R1 시리즈 언어 모델을 바탕으로 시각적 정보를 효율적으로 융합할 수 있는 방법을 제시합니다. 경량의 비주얼 프로젝터를 활용하여 언어 모델과 비전 인코더를 재학습시키지 않고도 두 모달리티 간의 정렬을 강화할 수 있으며, 반복적 감독 학습(SFT)과 그룹 상대 정책 최적화(GRPO)를 결합한 하이브리드 최적화 전략을 통해 시각-텍스트 융합 효율을 높였습니다. 또한, 추론 과정에서 필요에 따라 추론 체인의 길이를 동적으로 최적화하는 적응형 체인 오브 씽크 증류 기법을 도입하여 불필요한 과도한 사고 과정을 방지하였습니다. 이로써 38B 파라미터 수준의 모델임에도 불구하고, 다양한 벤치마크에서 우수한 성능을 달성하며 텍스트와 시각 정보를 모두 효과적으로 처리함을 입증하였습니다. 모델 가중치의 공개는 투명성과 재현성을 촉진하는 긍정적인 역할을 하고 있습니다.

생성 기술 및 멀티모달 콘텐츠 통합 분야

OmniSVG: A Unified Scalable Vector Graphics Generation Model

Paper, Project

SVG는 해상도에 구애받지 않고 편집이 용이한 이미지 포맷으로, 그래픽 디자인 분야에서 널리 사용되고 있습니다. 그러나 기존의 SVG 생성 방법들은 구조가 불안정하거나 계산 비용이 크고, 단순한 흑백 아이콘 정도로만 제한되는 한계가 있었습니다. 이를 극복하기 위해 저자들은 사전 학습된 비전-언어 모델을 활용하는 통합 프레임워크, OmniSVG를 제안합니다. OmniSVG는 SVG 명령어와 좌표를 이산 토큰으로 매개변수화하여, 복잡한 SVG의 구조적 표현력을 유지하면서도 기하학적 세부사항과의 결합을 효율적으로 처리합니다. 더불어 200만 개 이상의 풍부하게 주석된 SVG 에셋으로 구성된 MMSVG-2M 데이터셋과 표준화된 평가 프로토콜을 도입하여, 기존 방법보다 월등한 성능과 전문적인 디자인 워크플로우에의 통합 가능성을 입증하였습니다.

One-Minute Video Generation with Test-Time Training

Paper, Project

비디오 생성에 있어 트랜스포머 모델은 긴 문맥을 처리하는 자가 주의 메커니즘 때문에 1분 길이의 비디오를 생성하는 데 어려움을 겪습니다. 기존의 대체 기법들도 복잡한 다중 장면 스토리를 제대로 표현하기에 한계가 있었습니다. 이에 연구진은 Test-Time Training(TTT) 레이어를 도입하였습니다. TTT 레이어는 자체 내의 숨겨진 상태가 신경망으로 구성되어 있어 표현력이 뛰어나, 사전 학습된 트랜스포머에 이를 추가함으로써 텍스트 스토리보드 기반의 1분 길이 비디오 생성이 가능해졌습니다. 톰과 제리 만화를 기반으로 한 데이터셋을 활용한 실험에서는, TTT 레이어를 포함한 모델이 기존 기법에 비해 훨씬 일관되고 복잡한 스토리를 담은 비디오를 생성하며 인간 평가에서 유의미한 점수 차이를 보였습니다. 비록 일부 아티팩트가 존재하고 효율성 개선의 여지가 있으나, 이 접근법은 앞으로 더 긴 비디오와 복잡한 서사에도 확장 가능함을 시사합니다.

DDT: Decoupled Diffusion Transformer

Paper, Project

디퓨전 트랜스포머는 뛰어난 생성 품질을 자랑하지만, 긴 학습 시간과 다수의 추론 단계를 요구하는 단점이 있습니다. 기존 방식은 노이즈 제거 과정에서 저주파 의미 정보와 고주파 세부 정보를 동일한 모듈로 처리함으로써 두 목표 간에 최적화 딜레마가 발생합니다. 이를 해결하기 위해 저자들은 의미 정보를 추출하는 전용 조건 인코더와 고주파 복원에 최적화된 속도 디코더를 분리한 Decoupled Diffusion Transformer(DDT)를 제안합니다. 실험 결과, 인코더의 규모가 커질수록 성능 향상이 두드러졌으며, DDT-XL/2 모델은 256×256 이미지 생성에서 1.31의 FID를 기록하며 이전 기법 대비 약 4배 빠른 학습 수렴 속도를 보였습니다. 또한 분리된 구조 덕분에 인접한 노이즈 제거 단계 간의 조건 공유가 가능해져 추론 속도 역시 개선되었고, 최적의 조건 공유 전략을 위한 새로운 동적 계획법 접근법도 함께 제안되었습니다.

An Empirical Study of GPT-4o Image Generation Capabilities

Paper

최근 이미지 생성 기술은 GAN, 디퓨전 모델을 넘어 텍스트와 이미지를 동시에 이해하고 생성할 수 있는 통합 생성 모델로 발전하고 있습니다. 이 논문은 GPT-4o의 이미지 생성 능력을 체계적으로 평가하여, 텍스트-이미지 변환, 이미지-이미지 변환, 이미지-3D 변환, 그리고 기타 다양한 이미지 변환 작업 등 총 20개 이상의 과제를 대상으로, GPT-4o가 다른 오픈소스 및 상업용 모델들과 비교하여 어떤 강점과 한계를 가지고 있는지를 분석하였습니다. 이를 통해 GPT-4o가 통합 생성 모델로서 지니는 잠재력을 확인하고, 향후 모델의 구조 설계와 데이터 확장이 중요한 발전 방향임을 제시합니다.

모델 해석 및 자기 반성 분야

Rethinking Reflection in Pre-Training

Paper, Project

본 논문은 언어 모델이 복잡한 문제를 해결할 때, 스스로의 추론 과정을 되돌아보고 수정하는 '반성(reflection)' 능력이 중요한 역할을 한다는 점에 주목합니다. 저자들은 체인 오브 씽크 내부에 일부러 오류를 주입한 후, 모델이 이 오류를 인식하고 올바른 답변으로 수정할 수 있는지를 실험하였습니다. 실험 결과, 모델은 학습 초기 단계부터 자기 수정 능력을 보였으며, 학습이 진행됨에 따라 이 능력이 지속적으로 향상됨을 확인할 수 있었습니다. 예를 들어, 4조 토큰에 이르는 대규모 데이터로 사전 학습된 OLMo2-7B 모델은 여섯 가지 반성 과제에서 성공적으로 자기 교정 능력을 발휘하였습니다.

OLMoTrace: Tracing Language Model Outputs Back to Trillions of Training Tokens

Paper, Project

OLMoTrace는 언어 모델이 생성한 출력 결과를 실시간으로 수조 개의 학습 토큰까지 추적할 수 있는 최초의 시스템입니다. 이 시스템은 모델 출력과 학습 데이터 사이의 완전한 일치 부분을 신속하게 찾아내어 몇 초 안에 결과를 제공하며, 사용자가 언어 모델이 어떤 근거 데이터를 바탕으로 답변을 생성하는지 확인할 수 있도록 도와줍니다. 이를 통해 사실 확인, 환각 문제 분석, 그리고 창의적 생성 원천 탐구 등 다양한 용도로 활용될 수 있으며, 공개된 오픈소스 도구로써 연구자와 사용자가 언어 모델의 작동 원리를 보다 투명하게 이해할 수 있도록 지원합니다.