[2025/W07] 🤗 Weekly AI Research

2025년 7주차에 공개된 주목할만한 AI 분야의 논문들을 소개합니다.

TL;DR

LLM 성능 개선 분야에서는 특히 혁신적인 접근 방식들이 제시되었습니다. 잠재 공간을 통한 추론으로 테스트 시점의 계산 능력을 확장하는 연구, 1B 규모의 작은 모델이 테스트 타임 스케일링을 통해 405B 모델의 성능을 뛰어넘을 수 있다는 획기적인 발견, 그리고 단일 GPU에서 300만 토큰까지 처리할 수 있는 InfiniteHiP의 개발 등이 주목됩니다. 또한 경쟁적 프로그래밍 분야에서 LLM이 인간 수준의 성능을 달성했다는 연구 결과도 발표되었습니다.

멀티모달 및 특수 목적 AI 연구 분야에서는 실용적인 응용에 초점을 맞춘 발전이 이루어졌습니다. Goku는 최신 플로우 기반 비디오 생성 모델을 통해 고품질 시각 콘텐츠 생성의 새로운 기준을 제시했으며, VideoRoPE는 비디오 처리를 위한 효과적인 포지션 임베딩 방식을 제안했습니다. 특수 목적 연구에서는 다국어 텍스트 디톡시피케이션을 위한 SynthDetoxM과 금융 분야에 특화된 장문 QA 시스템인 FailSafeQA가 개발되어, AI 기술의 실제 응용 가능성을 한층 더 넓혔습니다.

LLM 성능 개선 및 확장 연구

Scaling up Test-Time Compute with Latent Reasoning: A Recurrent Depth Approach

Paper, Project

이 논문은 테스트 시점에서 잠재 공간을 통한 추론으로 계산 능력을 확장할 수 있는 새로운 언어 모델 아키텍처를 연구합니다. 이 모델의 가장 큰 특징은 반복적인 블록을 사용하여 테스트 시점에서 임의의 깊이로 확장이 가능하다는 점입니다. 이는 더 많은 토큰을 생성하여 계산 능력을 확장하는 기존의 주류 추론 모델들과는 차별화되는 접근 방식입니다.
이 연구의 중요한 장점은 Chain-of-thought와 같은 기존 방식들과 달리 특별한 학습 데이터가 필요하지 않다는 점입니다. 또한 작은 컨텍스트 윈도우로도 작동이 가능하며, 언어로 쉽게 표현하기 어려운 유형의 추론도 포착할 수 있습니다.
연구팀은 이 개념을 증명하기 위해 35억 개의 매개변수와 8,000억 개의 토큰을 사용하여 모델을 구축했습니다. 실험 결과, 이 모델은 추론 벤치마크에서 상당한 성능 향상을 보여주었으며, 일부 경우에는 500억 개의 매개변수에 해당하는 계산 능력까지 도달하는 극적인 성능 향상을 보여주었습니다.
이 연구는 기존의 언어 모델과는 다른 새로운 접근 방식을 제시함으로써, 더 효율적이고 유연한 추론 능력을 가진 언어 모델의 가능성을 보여주었다는 점에서 큰 의미가 있습니다.

Can 1B LLM Surpass 405B LLM? Rethinking Compute-Optimal Test-Time Scaling

Paper, Project

테스트 타임 스케일링(TTS)은 추론 단계에서 추가 연산을 활용하여 대규모 언어 모델(LLM)의 성능을 향상시키는 중요한 방법입니다. 그러나 지금까지의 연구들은 정책 모델, 프로세스 보상 모델(PRM), 그리고 문제의 난이도가 TTS에 미치는 영향에 대해 체계적인 분석을 수행하지 않았고, 이는 TTS 방법의 이해와 실제 활용을 제한하는 요인이 되어왔습니다.
이러한 한계를 극복하기 위해 연구진은 두 가지 핵심 질문에 주목했습니다. 첫째, 다양한 정책 모델, PRM, 문제 난이도에 따른 테스트 타임 연산의 최적 확장 방식을 찾는 것이었고, 둘째, 복잡한 작업에서 확장된 연산이 LLM의 성능을 얼마나 향상시킬 수 있는지, 그리고 이를 통해 작은 언어 모델이 더 큰 모델의 성능을 뛰어넘을 수 있는지를 확인하는 것이었습니다.
MATH-500과 AIME24라는 도전적인 작업들에 대한 포괄적인 실험을 통해 중요한 발견들이 있었습니다. 우선, 연산 최적화된 TTS 전략은 정책 모델, PRM, 문제 난이도의 선택에 따라 크게 달라진다는 것을 확인했습니다. 더욱 주목할 만한 점은, 연산 최적화된 TTS 전략을 적용했을 때 매우 작은 정책 모델도 더 큰 모델의 성능을 뛰어넘을 수 있다는 것이었습니다. 예를 들어, 1B 규모의 LLM이 405B LLM의 성능을 능가했고, 0.5B LLM은 GPT-4를, 3B LLM은 405B LLM을, 7B LLM은 더 높은 추론 효율성으로 Claude와 DeepSeek-R1의 성능을 뛰어넘었습니다.
이러한 연구 결과는 각 작업과 모델의 특성에 맞게 TTS 전략을 적절히 조정하는 것이 매우 중요하다는 것을 보여주며, TTS가 LLM의 추론 능력을 향상시키는 매우 유망한 접근 방식이라는 것을 입증합니다. 이는 앞으로의 LLM 개발에 있어 모델 크기만을 늘리는 것이 아닌, 효율적인 연산 전략의 중요성을 시사하는 중요한 발견이라고 할 수 있습니다.

InfiniteHiP: Extending Language Model Context Up to 3 Million Tokens on a Single GPU

Paper, Project

현대의 대규모 언어 모델(LLM)에서 매우 긴 문맥을 처리하는 것은 두 가지 중요한 도전 과제를 안고 있습니다. 추론 속도가 현저히 느려진다는 점과 메모리 사용량이 크게 증가한다는 점입니다. 더욱이 대부분의 기존 사전 학습된 LLM들은 원래 학습된 시퀀스 길이를 넘어서는 일반화에 실패하는 한계를 보여왔습니다.
이러한 문제들을 해결하기 위해 연구진은 ‘InfiniteHiP’라는 혁신적인 LLM 추론 프레임워크를 개발했습니다. 이 프레임워크는 모듈식 계층적 토큰 가지치기 알고리즘을 통해 관련 없는 문맥 토큰을 동적으로 제거함으로써 처리 속도를 크게 향상시켰습니다. 또한 LLM 내부의 어텐션 패턴에 따라 다양한 RoPE 조정 방법을 선택적으로 적용하여 더 긴 시퀀스로의 일반화를 가능하게 했으며, 추론 중에 key-value 캐시를 호스트 메모리로 오프로드하여 GPU 메모리 부담을 획기적으로 줄였습니다.
이러한 혁신적인 접근 방식을 통해 InfiniteHiP는 주목할 만한 성과를 달성했습니다. 단일 L40s 48GB GPU에서 최대 300만 토큰까지 처리할 수 있게 되었는데, 이는 기존 대비 3배 증가한 수치입니다. 특히 문맥 정보의 영구적 손실 없이 이러한 처리가 가능하다는 점이 중요합니다. 또한 100만 토큰 문맥에 대해 추가 학습 없이도 18.95배의 어텐션 디코딩 속도 향상을 달성했습니다.
연구진은 이 방법을 SGLang 프레임워크에 성공적으로 구현하고, 광범위한 평가를 통해 그 효과성과 실용성을 입증했습니다. 이는 LLM의 긴 문맥 처리 능력을 획기적으로 향상시키는 중요한 기술적 진보로, 향후 LLM의 실제 응용 범위를 크게 확장할 수 있는 가능성을 제시했다는 점에서 큰 의미가 있습니다.

Competitive Programming with Large Reasoning Models

Paper

대규모 언어 모델(LLM)에 강화학습을 적용하는 연구에서 주목할 만한 결과가 도출되었습니다. 연구진은 LLM에 강화학습을 적용했을 때 복잡한 코딩과 추론 과제에서 성능이 현저하게 향상된다는 사실을 확인했으며, 이를 검증하기 위해 다양한 모델들을 비교 분석했습니다.
이 연구에서는 범용 추론 모델인 OpenAI o1과 o3의 초기 버전을 2024년 국제정보올림피아드(IOI)를 위해 특별히 설계된 도메인 특화 시스템인 o1-ioi와 비교했습니다. o1-ioi는 수작업으로 설계된 추론 전략을 활용하여 실제 2024 IOI에 참가했고, 수작업으로 만든 테스트 전략을 통해 상위 49% 수준의 성적을 달성했습니다. 대회의 제약 조건을 완화했을 때는 금메달에 해당하는 성과까지 이루어냈습니다.
그러나 더욱 흥미로운 발견은 후속 모델인 o3의 성능이었습니다. o3는 수작업으로 만든 도메인 특화 전략이나 제약 조건 완화 없이도 금메달 수준의 성과를 달성했으며, Codeforces에서는 최상위권 인간 참가자들과 대등한 수준의 레이팅을 기록했습니다. 이는 o1-ioi와 같은 특화된 파이프라인이 성능 향상에 도움이 되기는 하지만, 범용 모델인 o3가 별도의 수작업 추론 휴리스틱 없이도 더 뛰어난 성과를 낼 수 있다는 것을 입증한 것입니다.
이러한 연구 결과는 경쟁적 프로그래밍을 비롯한 복잡한 추론 영역에서 최첨단 AI를 개발하는 데 있어, 도메인 특화 기술보다는 범용 강화학습의 확장이 더 효과적인 접근 방식이라는 중요한 시사점을 제공합니다. 이는 AI 기술 발전의 방향성을 제시하는 의미 있는 발견으로, 향후 AI 개발 전략에 중요한 영향을 미칠 것으로 예상됩니다.

멀티모달 및 특수 목적 AI 연구

Goku: Flow Based Video Generative Foundation Models

Paper, Project

이 논문은 최신 이미지와 비디오 통합 생성 모델군인 ‘Goku’를 소개하고 있습니다. Goku는 정류된 플로우 트랜스포머 기술을 활용하여 업계 최고 수준의 성능을 달성한 모델입니다.
Goku의 핵심은 고품질 시각 콘텐츠 생성을 가능하게 하는 여러 기술적 요소에 있습니다. 특히 체계적인 데이터 큐레이션 파이프라인, 혁신적인 모델 아키텍처 설계, 정교한 플로우 공식화, 그리고 대규모 학습을 위한 효율적이고 강건한 인프라가 주목할 만한 특징입니다.
성능 평가에서 Goku는 인상적인 결과를 보여주었습니다. 텍스트-이미지 생성 분야에서는 GenEval에서 0.76, DPG-Bench에서 83.65의 점수를 기록했으며, 텍스트-비디오 생성 분야에서는 VBench에서 84.85라는 높은 점수를 달성했습니다. 이러한 결과는 주요 시각 생성 작업에서 새로운 기준을 제시했다고 볼 수 있습니다.
이 연구의 가장 큰 의의는 이미지와 비디오 생성을 통합적으로 다루는 모델을 개발했다는 점입니다. 이는 시각적 콘텐츠 생성 분야에서 중요한 진전을 이루었으며, 향후 관련 연구 발전에 귀중한 통찰을 제공할 것으로 기대됩니다. 연구 커뮤니티에 실질적인 도움이 될 수 있는 다양한 기술적 발전을 제시했다는 점에서도 큰 의미가 있습니다.

VideoRoPE: What Makes for Good Video Rotary Position Embedding?

Paper, Project

Rotary Position Embedding(RoPE)과 그 변형들은 긴 문맥을 처리하는 데 탁월한 성능을 보여 널리 활용되고 있습니다. 하지만 1차원의 RoPE를 복잡한 시공간 구조를 가진 비디오에 확장하는 것은 아직 해결해야 할 과제로 남아있었습니다.
이 연구는 비디오에 RoPE를 효과적으로 적용하기 위해 필수적인 네 가지 주요 특성을 분석했습니다. 이는 이전 연구에서는 충분히 다루어지지 않았던 부분입니다. 연구진은 분석 과정에서 V-NIAH-D(Visual Needle-In-A-Haystack with Distractors)라는 새로운 평가 작업을 도입했는데, 이는 기존 V-NIAH에 주기적인 방해 요소를 추가한 것입니다. 이 평가를 통해 적절한 시간 차원 할당이 없는 기존의 RoPE 변형들이 방해 요소에 쉽게 영향을 받는다는 문제점이 드러났습니다.
이러한 분석을 바탕으로 연구진은 시공간 관계를 효과적으로 보존할 수 있는 3D 구조의 VideoRoPE를 개발했습니다. VideoRoPE는 주기적 진동을 줄이기 위한 저주파 시간 할당, 공간 대칭성을 유지하기 위한 대각선 레이아웃, 그리고 시간과 공간 인덱싱을 분리하기 위한 조절 가능한 시간 간격과 같은 특징을 가지고 있습니다.
결과적으로 VideoRoPE는 긴 비디오 검색, 비디오 이해, 비디오 생성과 같은 다양한 downstream 작업에서 기존의 RoPE 변형들보다 일관되게 우수한 성능을 보여주었습니다. 이는 VideoRoPE가 비디오 처리를 위한 더 효과적인 embedding 방법임을 입증합니다.

SynthDetoxM: Modern LLMs are Few-Shot Parallel Detoxification Data Annotators

Paper, Project

다국어 텍스트 디톡시피케이션(유해 콘텐츠 제거) 연구는 현재 병렬 다국어 데이터셋의 부족이라는 심각한 제약에 직면해 있습니다. 이러한 한계를 극복하기 위해 연구진은 다국어 병렬 디톡시피케이션 데이터를 생성할 수 있는 새로운 파이프라인을 개발하였고, 이를 통해 ‘SynthDetoxM’이라는 혁신적인 데이터셋을 구축하는데 성공했습니다.
SynthDetoxM은 독일어, 프랑스어, 스페인어, 러시아어 등 4개 언어에 걸쳐 16,000개의 고품질 디톡시피케이션 문장 쌍을 포함하고 있습니다. 이 데이터셋은 다양한 유해성 평가 데이터셋에서 수집한 데이터를 기반으로 하며, 9개의 최신 오픈소스 LLM을 few-shot 설정으로 활용하여 재작성되었습니다.
실험을 통해 매우 고무적인 결과가 도출되었습니다. SynthDetoxM으로 학습된 모델들은 데이터가 제한된 환경에서도 인간이 직접 주석을 단 MultiParaDetox 데이터셋으로 학습된 모델들보다 우수한 성능을 보여주었습니다. 특히 주목할 만한 점은 SynthDetoxM으로 학습된 모델들이 few-shot 설정에서 평가된 모든 LLM의 성능을 뛰어넘었다는 것입니다.
연구진은 이 분야의 발전을 가속화하기 위해 데이터셋과 관련 코드를 모두 공개했습니다. 이는 다국어 텍스트 디톡시피케이션 연구의 발전에 중요한 기여를 할 것으로 기대되며, 더 나아가 다양한 언어권에서의 유해 콘텐츠 제거 기술 발전에 핵심적인 역할을 할 것으로 전망됩니다.

Expect the Unexpected: FailSafe Long Context QA for Finance

Paper, Project

금융 분야의 장문 맥락 처리를 위해 새롭게 제안된 ‘FailSafeQA’ 벤치마크는 LLM 기반 질의-응답 시스템에서 발생할 수 있는 다양한 사용자 인터페이스 상호작용의 변형에 대한 LLM의 견고성과 맥락 인식 능력을 평가하기 위해 설계되었습니다.
연구진은 특히 ‘쿼리 실패’와 ‘맥락 실패’라는 두 가지 주요 케이스에 초점을 맞추었습니다. 쿼리 실패 시나리오에서는 도메인 전문성 수준, 완성도, 언어적 정확성 측면에서 원래 쿼리를 변형하여 테스트를 진행했으며, 맥락 실패 시나리오에서는 품질이 저하된 문서, 관련 없는 문서, 빈 문서 등 다양한 문서 업로드 상황을 시뮬레이션했습니다.
연구 방법론으로는 Qwen2.5-72B-Instruct를 판단자로 활용하는 ‘LLM-as-a-Judge’ 방식을 채택했으며, 24개의 기성 모델에 대해 견고성, 맥락 기반성, 준수성을 세밀하게 평가했습니다. 실험 결과, 일부 모델들이 입력 변동에 대한 대응은 우수했으나 견고한 답변과 환각 방지 능력 사이의 균형을 맞추는 데 어려움을 보이는 것으로 나타났습니다.
특히 주목할 만한 점은, 가장 높은 준수성을 보인 Palmyra-Fin-128k-Instruct 모델이 기본 성능은 우수했으나 17%의 테스트 케이스에서 견고한 예측 유지에 실패했다는 것입니다. 반면 가장 견고한 모델로 평가된 OpenAI o3-mini는 41%의 테스트 케이스에서 정보를 조작하는 심각한 문제를 보였습니다.
이러한 연구 결과는 현재 최고 성능을 보이는 모델들조차도 상당한 개선의 여지가 있음을 명확히 보여주며, FailSafeQA가 금융 애플리케이션에서의 신뢰성을 최적화하는 LLM 개발을 위한 중요한 평가 도구로 활용될 수 있음을 시사합니다. 이는 금융 분야에서 LLM의 실제 활용을 위한 중요한 발전 방향을 제시하는 의미 있는 연구라고 할 수 있습니다.