[2025/W10] 🤗 Weekly AI Research

2025년 10주차에 공개된 주목할만한 AI 분야의 논문들을 소개합니다.

TL;DR

데이터 및 학습 효율화 분야에서는 데이터의 예측력을 평가해 가장 유용한 데이터를 선별하여 학습 효율성을 높이는 Preselect, 인간의 간략한 사고 과정을 모방해 토큰 사용량을 최소화하면서도 정확도를 높이는 추론 방법 Chain of Draft, 적은 양의 데이터만으로 시각적 과제 학습 성능을 높이는 강화학습 미세조정 기법인 Visual-RFT가 제안되었습니다.

멀티모달 및 도구 활용 분야에서는 작지만 강력한 성능을 보이는 텍스트, 이미지, 음성 등을 통합한 Phi-4-Multimodal, 긴 비디오의 시공간 정보를 효율적으로 처리해 성능과 속도를 높인 STORM, 외부 도구 활용을 통해 추론 과정에서 정확도와 신뢰성을 향상시키는 START가 연구되고 있습니다.

다국어 지원 강화 분야에서는 전 세계 인구의 90% 이상이 사용하는 다양한 언어를 포괄하며, 기존 다국어 모델의 한계를 뛰어넘는 개방형 다국어 모델인 Babel이 등장하여 언어 접근성을 획기적으로 확대하고 있습니다.

효율적인 데이터 활용 및 모델 학습 최적화

Predictive Data Selection: The Data That Predicts Is the Data That Teaches

Paper, Project

언어 모델의 사전 학습에서는 데이터 품질이 매우 중요합니다. 본 연구에서는 특정 데이터가 학습에 얼마나 도움이 되는지를 미리 직접 평가하고, 이를 기반으로 효율적으로 데이터를 선별하는 방법을 제안합니다. 최근 연구에 따르면, 특정 텍스트 데이터에서 다양한 모델들의 압축 효율성(정규화된 손실)이 이 데이터로 학습한 후속 작업의 성능을 매우 잘 예측합니다. 이러한 결과를 바탕으로, 본 논문은 "모델의 손실이 후속 작업 성능을 잘 예측하는 데이터가 결국 학습 효과도 뛰어나다"라는 가설을 세웁니다. 이를 검증하기 위해 데이터의 예측적 강도를 기반으로 효율적으로 데이터를 선택하는 Preselect 기법을 개발합니다. 그 결과, 30B 토큰의 데이터만으로도 기존 방식으로 300B 토큰을 학습한 모델의 성능을 능가하여 계산 비용을 10배 이상 절약합니다.

Chain of Draft: Thinking Faster by Writing Less

Paper, Project

거대 언어 모델(LLM)은 복잡한 문제를 해결할 때 흔히 긴 문장으로 단계적인 추론(Chain-of-Thought, CoT)을 수행합니다. 그러나 사람들은 일반적으로 필수 정보만 간단히 정리하여 더 효율적으로 문제를 풉니다. 본 논문에서는 인간의 간결한 사고 방식에서 영감을 얻어, 핵심 정보만을 최소한의 중간 단계로 작성하며 추론을 수행하는 Chain of Draft (CoD) 방식을 제안합니다. CoD는 기존 CoT 대비 토큰 사용량을 최대 7.6% 수준으로 줄이면서도 정확도는 같거나 더 높은 성능을 보이며, 다양한 추론 작업에서 비용과 속도를 크게 개선합니다.

Visual-RFT: Visual Reinforcement Fine-Tuning

Paper, Project

강화학습 미세조정(RFT)은 정답에 대한 피드백을 바탕으로 모델을 훈련하는 기법으로, 주로 언어 과제에서 성공적으로 사용되었습니다. 하지만 시각 분야에서는 아직 제대로 활용되지 않았습니다. 본 논문에서는 시각 과제를 위한 Visual-RFT 기법을 제안합니다. 이 방법은 대규모 시각언어 모델(LVLM)을 사용해 다양한 응답을 생성한 뒤, 시각 보상 함수를 적용해 모델을 최적화합니다. 실험 결과 Visual-RFT는 세밀한 이미지 분류나 소수샷 객체 탐지 등 여러 과제에서 기존 지도학습(SFT) 기반 방법보다 뛰어난 성능과 우수한 일반화 능력을 보여줍니다.

고성능 멀티모달 및 도구 활용 모델 개발

Phi-4-Mini Technical Report: Compact yet Powerful Multimodal Language Models via Mixture-of-LoRAs*

Paper, Project

Phi-4-Mini는 38억 개의 파라미터를 가진 소형 언어 모델입니다. 이 모델은 고품질의 웹 및 합성 데이터를 활용하여 수학 및 프로그래밍과 같은 복잡한 작업에서 기존 같은 규모 모델을 뛰어넘고 두 배 더 큰 모델과도 경쟁 가능한 성능을 달성합니다. 또한, 기존 모델 대비 어휘 크기를 20만 토큰으로 확장하고, 긴 문장 생성에서 효율성을 높이는 그룹 쿼리 주의 메커니즘을 적용해 다국어 환경에 적합하도록 개선합니다. Phi-4-Multimodal은 텍스트, 이미지, 음성 등 여러 모달리티를 통합한 모델로, LoRA 어댑터와 모달리티별 라우터를 활용하여 간섭 없이 다양한 입력 모달리티를 효과적으로 결합합니다. 특히 음성 분야에서는 적은 파라미터로 OpenASR 벤치마크 1위를 차지하고, 기존의 더 큰 모델을 능가하는 성과를 나타냅니다.

START: Self-taught Reasoner with Tools

Paper

기존의 거대 추론 모델(LRM)은 내부의 긴 추론 과정만을 사용하기 때문에 환각 현상이나 비효율성 문제를 자주 겪습니다. 본 연구는 코드 실행과 같은 외부 도구 활용을 통해 추론 성능을 높이는 START 모델을 제안합니다. 특히, 추론 중 인위적으로 삽입된 힌트를 통해 모델이 도구 사용 여부를 스스로 결정하게 하는 '힌트 추론(Hint-infer)' 방법과 이를 기반으로 미세조정을 수행하는 '힌트 거부 샘플링 미세조정(Hint-RFT)' 기술을 도입합니다. 이를 통해 START 모델은 수학, 과학, 코딩 등 복잡한 문제에서 기존 모델 대비 뛰어난 성능 향상을 보여줍니다.

Token-Efficient Long Video Understanding for Multimodal LLMs

Paper, Project

기존 비디오 기반 언어 모델(Video-LLM)은 각 프레임을 독립적으로 처리하여 긴 영상의 역동성을 제대로 반영하지 못했습니다. 본 논문에서는 이미지 인코더와 언어 모델 사이에 시공간 정보를 통합하는 전용 인코더를 추가한 STORM 모델을 제안합니다. 이 모델은 영상 내 프레임 간의 역동적인 정보를 효과적으로 압축하여 계산 비용을 최대 8배 줄이고 지연 시간도 2.9배 감소시키면서 기존 모델보다 긴 영상 이해 성능을 5% 이상 높입니다. 이를 통해 긴 영상도 효율적으로 처리하면서 성능까지 개선하는 효과를 얻습니다.

다국어 확장 및 언어 접근성 강화

Babel: Open Multilingual Large Language Models Serving Over 90% of Global Speakers

Paper, Project

기존의 오픈소스 다국어 모델은 대부분 자원이 풍부한 소수 언어에 편향되어 있으며, 많은 인구가 사용하는 저자원 언어는 잘 다루지 못했습니다. 이를 해결하기 위해 본 논문은 세계에서 가장 많이 쓰이는 상위 25개 언어를 포함하는 Babel 모델을 제안합니다. Babel은 기존 모델과 달리 언어 확장을 위한 독특한 레이어 확장 방식을 채택하여 성능을 높입니다. 본 논문에서 소개한 Babel-9B는 효율적 추론 및 미세조정에 적합하며, Babel-83B는 다국어 언어 처리의 새로운 성능 기준을 제시합니다. Babel 모델은 다양한 다국어 평가에서 다른 오픈소스 모델을 크게 능가하며 상용 모델에 근접하거나 그 이상의 성능을 보여줍니다.