[2025/W05] 🤗 Weekly AI Research

2025년 5주차에 공개된 주목할만한 AI 분야의 논문들을 소개합니다.

평가/벤치마크 관련 분야

Humanity's Last Exam

Paper, Project

이 논문은 대규모 언어 모델(LLM)의 성능을 평가하는 새로운 벤치마크 'Humanity's Last Exam (HLE)'를 소개합니다.

현재 MMLU와 같은 기존 벤치마크들은 LLM이 90% 이상의 정확도를 보이면서 더 이상 의미 있는 평가 도구로 기능하기 어려워졌습니다. 이에 대한 대안으로 개발된 HLE는 인류 지식의 최전선에 있는 문제들로 구성된 종합적인 평가 도구입니다.

HLE는 수학, 인문학, 자연과학 등 다양한 분야에 걸쳐 3,000개의 문제를 포함하고 있습니다. 전 세계의 각 분야 전문가들이 개발에 참여했으며, 객관식과 주관식 문항으로 구성되어 자동 채점이 가능합니다. 각 문제는 명확한 답이 있고 쉽게 검증할 수 있지만, 인터넷 검색으로는 빠르게 답을 찾을 수 없도록 설계되었습니다.

연구 결과, 최신 LLM들도 HLE에서 낮은 정확도를 보였습니다. 이는 현재 LLM 기술과 전문가 수준의 인간 지식 사이에 아직 상당한 격차가 있음을 보여줍니다.

RealCritic: Towards Effectiveness-Driven Evaluation of Language Model Critiques

Paper, Project

이 논문은 대규모 언어 모델(LLM)의 비평 능력을 평가하기 위한 새로운 벤치마크를 소개합니다.

Critic은 LLM이 자신의 성능을 개선하고 다른 모델에게 건설적인 피드백을 제공하는 데 매우 중요합니다. 하지만 Critic이라는 작업의 열린 특성 때문에, LLM의 Critic 능력을 평가하는 것은 쉽지 않았습니다.

이 연구에서 제안하는 새로운 벤치마크는 기존의 'Open-loop' 방식과 달리 'Closed-loop' 방식을 채택했습니다. 즉, Critic을 통해 생성된 수정 내용의 품질을 직접 평가합니다. 또한 자기 비평, 상호 비평, 반복적 비평과 같은 요소들을 포함하여 고급 추론 모델과 일반적인 모델의 능력 차이를 명확히 구분할 수 있게 했습니다.

연구진은 8개의 도전적인 추론 과제를 통해 이 벤치마크를 구현했는데, 이 중 흥미로운 점은 일반적인 사고 과정 생성에서는 비슷한 성능을 보이던 기존 LLM들이 모든 비평 시나리오에서 advanced reasoning 기반의 o1-mini 모델보다 현저히 낮은 성능을 보였다는 것입니다. 더욱이 자기 비평과 반복적 비평 상황에서는 기존 LLM들의 성능이 기본 능력보다도 떨어지는 경우가 있었습니다.

이 벤치마크는 앞으로 LLM의 비평 능력 발전을 이끄는 중요한 도구가 될 것으로 기대됩니다.

Atla Selene Mini: A General Purpose Evaluation Model

Paper, Project

이 논문은 Atla Selene Mini라는 새로운 소형 언어 모델 평가기(SLMJ)를 소개합니다.

Selene Mini는 8B 규모의 모델로, 절대 점수 매기기(absolute benchmarks), 분류(classification benchmarks), 쌍대 비교(pairwise benchmarks) 등을 포함한 11개의 다양한 평가 작업에서 기존의 소형 평가 모델들과 GPT-4o-mini를 능가하는 성능을 보여줍니다. 특히 RewardBench라는 평가 지표에서 GPT-4o와 같은 강력한 모델들보다 더 높은 점수를 기록했습니다.

연구진은 이런 성과를 달성하기 위해 세 가지 핵심 전략을 사용했습니다. 먼저, 공개 데이터셋을 인공적으로 생성한 비평으로 보강하고 엄격한 품질 관리를 통해 정제했습니다. 둘째, 직접 선호도 최적화(Direct Preference Optimization)와 지도 미세조정(Supervised Fine-tuning)을 결합한 특별한 학습 방식을 적용했습니다. 마지막으로, 다양한 프롬프트 형식에도 안정적으로 작동하도록 설계했습니다.

실제 Selene Mini는 금융과 의료 분야의 전문가 평가와 높은 일치도를 보였으며, Judge Arena라는 커뮤니티 기반 평가 플랫폼에서도 최고 순위를 기록했습니다. 현재 이 모델들은 HuggingFace와 Ollama 플랫폼에서 사용할 수 있습니다.

모델 아키텍처/기능 개선 분야

Chain-of-Retrieval Augmented Generation

Paper, Project

이 논문은 'CoRAG'라는 새로운 정보 검색 및 답변 생성 모델을 소개합니다.

기존의 RAG(Retrieval Augmented Generation) 모델들은 답변을 생성하기 전에 단 한 번의 정보 검색만을 수행합니다. 이는 복잡한 질문에 대해 효과적으로 대응하기 어렵다는 한계가 있었습니다.

이에 반해 CoRAG는 '단계적 검색 체인' 방식을 도입했습니다. 질문에 대한 답을 찾는 과정에서 이전 검색 결과를 바탕으로 새로운 검색 쿼리를 만들어내며, 이를 통해 더 정확한 정보를 단계적으로 수집할 수 있습니다. CoRAG를 학습시키기 위해 연구진은 'rejection sampling' 기법을 활용했습니다. 이 방법으로 중간 검색 단계들을 자동으로 생성하여, 최종 답변만 제공하는 기존 데이터셋을 보강했습니다.

실험 결과, CoRAG는 특히 여러 단계의 추론이 필요한 질문에서 기존 모델들보다 10점 이상 높은 성능을 보였습니다. KILT 벤치마크에서는 다양한 지식 기반 태스크에서 최고 성능을 달성했습니다.

Baichuan-Omni-1.5 Technical Report

Paper, Project

이 논문은 'Baichuan-Omni-1.5'라는 새로운 'omni-modal large model'을 소개합니다. 이 모델은 다양한 형태의 정보(텍스트, 이미지, 오디오 등)를 이해할 뿐만 아니라, 음성도 직접 생성할 수 있습니다.

연구진은 모든 형태의 정보를 자연스럽고 높은 품질로 처리하기 위해 세 가지 핵심 요소에 집중했습니다. 첫째, 약 500B 규모의 고품질 멀티모달 데이터(텍스트, 오디오, 이미지)를 확보하기 위한 포괄적인 데이터 정제 및 합성 파이프라인을 구축했습니다. 둘째, 'Baichuan-Audio-Tokenizer'라는 특별한 오디오 토크나이저를 개발했습니다. 이는 음성에서 의미적 정보와 음향적 정보를 모두 포착하여, 대규모 언어 모델과의 원활한 통합을 가능하게 합니다. 셋째, 다단계 학습 전략을 설계했습니다. 이는 여러 형태의 정보 간 정렬과 다중 작업 미세 조정을 단계적으로 통합하여, 모든 모달리티 간의 효과적인 시너지를 보장합니다.

실험 결과, Baichuan-Omni-1.5는 GPT4o-mini와 MiniCPM-o 2.6와 같은 최신 모델들을 능가하는 종합적인 성능을 보여주었습니다. 특히 다양한 멀티모달 의료 벤치마크에서 Qwen2-VL-72B와 같은 선도적인 모델들과 비슷한 수준의 성능을 달성했습니다.

Qwen2.5-1M Technical Report

Paper

이 논문은 컨텍스트 길이를 100만 토큰까지 확장한 'Qwen2.5-1M' 시리즈 모델을 소개합니다.

기존 128K 버전과 비교해, Qwen2.5-1M은 긴 컨텍스트 사전 학습과 후속 학습을 통해 긴 맥락을 처리하는 능력을 크게 향상시켰습니다. 연구진은 긴 데이터 합성, 점진적 사전 학습, 다단계 지도 학습 등의 핵심 기술을 활용하여 학습 비용은 줄이면서 긴 컨텍스트 처리 성능은 향상시켰습니다.

더 많은 사용자들이 긴 컨텍스트 모델을 활용할 수 있도록 추론 프레임워크도 공개했습니다. 이 프레임워크는 추가 학습 없이도 모델의 컨텍스트 길이를 최소 4배 이상 확장할 수 있는 길이 외삽법을 포함합니다. 또한 추론 비용을 줄이기 위해 'sparse attention method'과 'chunked prefill optimization'를 구현했습니다.

추론 엔진에서는 커널 최적화, 파이프라인 병렬화, 스케줄링 최적화 등을 통해 전반적인 추론 성능을 크게 향상시켰습니다. 이를 통해 100만 토큰의 컨텍스트를 처리할 때 3~7배 빠른 prefill 속도를 달성했습니다.

Qwen2.5-1M 시리즈는 현재 오픈소스 모델인 Qwen2.5-7B-Instruct-1M, Qwen2.5-14B-Instruct-1M과 API 접근이 가능한 Qwen2.5-Turbo를 포함합니다. 평가 결과, 이 모델들은 짧은 컨텍스트에서의 성능은 유지하면서 긴 컨텍스트 작업에서 큰 향상을 보였습니다. 특히 Qwen2.5-14B-Instruct-1M 모델은 긴 컨텍스트 작업에서 GPT-4o-mini를 크게 앞섰고, 8배 더 긴 컨텍스트를 지원합니다.

안전성/보안 분야

GuardReasoner: Towards Reasoning-based LLM Safeguards

Paper, Project

이 논문은 대규모 언어 모델(LLM)의 안전성을 보장하기 위한 새로운 보호 장치 'GuardReasoner'를 소개합니다.

LLM이 안전에 중요한 애플리케이션에 점점 더 많이 사용됨에 따라, 보호 장치를 통한 안전성 확보가 핵심 과제로 대두되고 있습니다. GuardReasoner는 보호 모델이 추론하는 방법을 학습하도록 유도하는 방식으로 이 문제에 접근합니다.

연구진은 먼저 12.7만 개의 샘플과 46만 개의 상세한 추론 단계를 포함하는 'GuardReasonerTrain' 데이터셋을 만들었습니다. 이후 추론 SFT(supervised fine-tuning)를 도입하여 보호 모델의 추론 능력을 향상시켰고, 어려운 샘플에 대한 DPO(direct preference optimization)를 통해 추론 능력을 더욱 강화했습니다.

실험 결과, GuardReasoner는 성능, 설명 가능성, 일반화 능력 모든 면에서 우수한 결과를 보여주었습니다. 3가지 보호 장치 작업의 13개 벤치마크에서 진행된 광범위한 실험에서, GuardReasoner 8B는 GPT-4o+CoT보다 5.74%, LLaMA Guard 3 8B보다 20.84% 높은 F1 점수를 달성했습니다.

해당 연구결과는 다양한 규모(1B, 3B, 8B)의 GuardReasoner 모델, 학습 데이터와 코드를 통해서 확인해볼 수 있습니다.

학습/최적화 방법론 분야

SFT Memorizes, RL Generalizes: A Comparative Study of Foundation Model Post-training

Paper, Project

이 논문은 기초 모델의 두 가지 주요 후속 학습 기법인 지도 미세 조정(SFT)과 강화학습(RL)의 일반화 능력 차이를 연구했습니다.

연구진은 'GeneralPoints'라는 산술 추론 카드 게임과 'V-IRL'이라는 실제 내비게이션 환경을 활용하여, SFT와 RL로 학습된 모델들이 텍스트와 시각적 영역에서 처음 보는 변형에 얼마나 잘 대응하는지 평가했습니다.

연구 결과, 특히 결과 기반 보상을 사용한 RL은 규칙 기반 텍스트와 시각적 변형 모두에서 우수한 일반화 능력을 보여주었습니다. 반면 SFT는 학습 데이터를 단순 암기하는 경향이 있어, 학습하지 않은 새로운 상황에서는 어려움을 겪었습니다. 더 깊은 분석 결과, RL은 모델의 기본적인 시각 인식 능력도 향상시키는 것으로 나타났습니다.

하지만 RL의 우수한 일반화 능력에도 불구하고, SFT는 여전히 중요한 역할을 합니다. SFT는 모델의 출력 형식을 안정화시켜 후속 RL 학습이 더 나은 성능을 달성할 수 있도록 돕습니다.

이 연구는 복잡하고 다양한 형태의 정보를 다루는 작업에서 RL이 일반화 가능한 지식을 습득하는 데 효과적임을 보여줍니다.

Optimizing Large Language Model Training Using FP4 Quantization

Paper

이 논문은 대규모 언어 모델(LLM)의 학습 효율성을 높이기 위한 새로운 방법을 제시합니다. 현재 LLM을 학습시키는 데에는 엄청난 컴퓨팅 자원이 필요한데, 이를 해결하기 위해 연구진은 4비트 부동소수점(FP4) 기반의 학습 프레임워크를 개발했습니다.

기존에는 8비트 부동소수점(FP8)까지는 성공적으로 사용되었지만, 4비트로 더 줄이는 것은 정밀도 손실 때문에 매우 어려운 과제였습니다. 연구진은 이 문제를 해결하기 위해 두 가지 혁신적인 기술을 도입했습니다. 첫째는 가중치를 정확하게 업데이트할 수 있는 'differentiable quantization estimator'이고, 둘째는 활성화 값이 무너지는 것을 방지하는 'outlier clamping and compensation strategy'입니다.

연구 결과, 이 새로운 FP4 프레임워크는 기존의 16비트(BF16)나 8비트(FP8) 방식과 비슷한 정확도를 달성했으며, 130억 개의 매개변수를 가진 대형 모델도 1천억 개의 토큰으로 안정적으로 학습할 수 있었습니다. 이는 앞으로 4비트 연산을 지원하는 새로운 하드웨어가 등장할 때, 매우 효율적인 AI 모델 학습이 가능해질 것임을 시사합니다.

Critique Fine-Tuning: Learning to Critique is More Effective than Learning to Imitate

Paper, Project

이 논문은 언어 모델의 학습 방식에 대한 새로운 접근법을 제시합니다. 기존의 지도 미세조정(SFT) 방식 대신, 비평 기반 미세조정(CFT)이라는 새로운 방법을 제안하고 있습니다.

전통적인 SFT 방식은 모델이 '정답'을 단순히 모방하도록 훈련하는 반면, CFT는 '부정확한 답변'을 비평하고 분석하는 방식으로 학습을 진행합니다. 이는 마치 인간이 비판적 사고를 통해 학습하는 과정을 모방한 것입니다.

연구팀은 이 방법의 효과를 검증하기 위해 WebInstruct에서 5만 개의 샘플을 추출하고, GPT-4를 활용해 비평 데이터셋을 구축했습니다. 실험 결과는 매우 인상적이었습니다. CFT를 적용한 모델들은 Qwen2.5, Qwen2.5-Math, DeepSeek-Math 등 다양한 기본 모델에서 기존 SFT 방식보다 4-10% 더 나은 성능을 보였습니다.

이 연구의 주목할 만한 결과는 효율성입니다. Qwen2.5-Math-CFT 모델은 단 8대의 H100 GPU로 1시간만 훈련했음에도, 200만 개의 샘플로 훈련된 Qwen2.5-Math-Instruct와 비슷하거나 더 나은 성능을 달성했습니다. 또한 140배 더 많은 컴퓨팅 자원을 사용한 SimpleRL과도 대등한 성능을 보였습니다.

추가 실험을 통해 CFT는 부정확한 응답의 출처나 비평을 제공하는 교사 모델의 종류에 크게 영향을 받지 않는다는 것도 확인되었습니다. 이러한 결과들은 CFT가 언어 모델의 추론 능력을 향상시키는 더 효과적인 방법이 될 수 있음을 보여줍니다.