느낀점

• 역시나 데이터가 해줄만한 부분이 아직 남아 있구나
• 데이터가 괜찮은 상태에서 Depth Upscaling은 아직까지 효율적
• Depth 증가는 한정된 gpu에 올리기에는 좋은데 추론 속도에는 부정적
• 합성 데이터 비율이 너무 많은 거 아닌가?
• 가성비는 좋지만 좋은 모델을 만들기에는 부족함

비교 대상군들과 비교하여 압도적으로 낮은 파라미터로 높은 성능을 확인할 수 있음.

모델 링크
논문 링크

Abstract

단순한 규모 확장보다 훈련 설계를 통해 frontier-level 성능을 달성한 150억 파라미터의 open-weights 멀티모달 추론 모델인 Apriel-1.5-15B-Thinker를 소개합니다.
Pixtral-12B를 기반으로 하여 점진적인 3단계 방법론을 적용했습니다.

(1) 바닥부터 다시 pretraining할 필요 없이 추론 용량을 확장하는 depth upscaling
(2) 먼저 기초적인 텍스트 및 시각 이해력을 개발한 후, 공간 구조, 구성적 이해, 세밀한 인식을 다루는 목표 지향적 합성 데이터 생성을 통해 시각적 추론을 강화하는 staged continual pre-training
(3) 수학, 코딩, 과학, 도구 사용을 아우르는 명시적인 reasoning traces이 포함된 선별된 지시-응답 쌍을 활용한 고품질 텍스트 전용 SFT입니다.

주목할 점은 모델이 강화 학습이나 선호도 최적화 없이도 경쟁력 있는 결과를 달성하여, 데이터 중심의 지속 사전 학습 접근 방식의 순수한 기여도를 입증했다는 것입니다.
Artificial Analysis Intelligence Index에서 Apriel-1.5-15B-Thinker는 훨씬 적은 컴퓨팅 자원을 사용함에도 불구하고 DeepSeek-R1-0528과 동등한 52점을 기록했습니다.
10개의 이미지 벤치마크 전반에서 평균적으로 Gemini-2.5-Flash 및 Claude Sonnet-3.7과 5점 이내의 성능 차이를 보였으며, 이는 단일 GPU 배포 제약 내에서 작동하는 모델로서는 핵심적인 성과입니다.

mid-training 설계가 거대한 규모 없이도 상당한 능력 격차를 좁힐 수 있음을 보여주며 인프라가 제한된 조직도 최첨단 멀티모달 추론 기술을 활용할 수 있게 합니다.
오픈소스 연구 발전을 위해 모델 체크포인트, 모든 훈련 레시피, 평가 프로토콜을 MIT 라이선스로 공개합니다.

Introduction

Apriel-1.5-15B-Thinker란?
작지만 고성능 모델: 15B의 파라미터를 가진 모델입니다.
프론티어 모델에 비해 크기는 작지만 추론 능력은 최상위권 수준을 목표로 합니다.

Multimodal: 텍스트뿐만 아니라 이미지도 이해하고 분석할 수 있는 능력을 갖췄습니다.

Open Weights: 누구나 사용할 수 있도록 설계도와 가중치가 공개된 모델입니다.

개발 배경
현실적인 문제 해결: 많은 기업들이 보안(사내 구축)이나 비용 문제로 거대 AI 모델을 쓰기 어렵습니다.
이 모델은 단일 GPU에서도 돌아갈 만큼 가볍게 설계되어 이러한 진입 장벽을 낮췄습니다.

효율성 극대화: 엄청난 규모의 데이터와 돈을 쏟아붓는 대신 'Training Recipe'을 똑똑하게 설계하여 성능을 끌어올렸습니다.

어떻게 똑똑해졌나요? (핵심 기술 3단계)
연구진은 단순히 모델 크기를 키우는 대신 3단계의 정교한 학습 과정을 거쳤습니다.

구조 확장 (Integrated Architecture):

기존의 Pixtral-12B라는 모델을 베이스로 하여 바닥부터 새로 만드는 대신 효율적으로 15B 크기로 확장했습니다(Depth Upscaling 기술 사용).

단계적 학습 (Staged Continual Pretraining):

한꺼번에 모든 걸 가르치지 않고 커리큘럼을 짰습니다.

1단계: 텍스트 추론과 일반적인 지식을 학습.

2단계: 시각적 추론(공간 구조, 이미지 이해 등) 능력을 집중적으로 강화.

고품질 튜닝 (High-Quality SFT):

모델이 정답만 내놓는 게 아니라 "왜 그렇게 생각했는지" 추론 과정을 설명할 수 있도록 설명이 포함된 고품질 데이터로 Fine-tuning 했습니다.

성능은?
최상위권과 경쟁: DeepSeek-R1과 동등한 점수(52점)를 기록했습니다.

가성비 최강: 훨씬 더 큰 모델인 Gemini-2.5-Flash나 Claude 3.7 Sonnet과 비교했을 때 평균 5점 정도밖에 차이가 나지 않습니다.

다재다능: 수학, 차트 분석, 일반 추론 등 텍스트와 이미지를 넘나드는 10개의 테스트에서 우수한 성적을 보였습니다.

Architecture and Model Upscaling

이 모델은 Pixtral12B-Base-2409를 기반으로 합니다.
Pixtral은 Vision Encoder와 Multimodal Decoder가 2-layer projection network로 연결된 LLaVA 스타일의 아키텍처를 따릅니다.
연구진은 이를 효율적으로 확장하기 위해 다음과 같은 전략을 사용했습니다.

1) Depth Upscaling (깊이 확장)
단일 GPU에서도 배포 가능한 효율성을 유지하기 위해, 모델의 너비(Width) 대신 깊이(Depth)를 확장하는 방식을 택했습니다.

Layer 확장: Decoder의 히든 레이어를 기존 40개에서 48개로 증가시켰습니다.

학습 데이터: 텍스트 토큰의 대규모 코퍼스로 학습하되, 절반은 기존 데이터의 Replay, 나머지 절반은 웹 콘텐츠, 기술 문헌, 수학, 코드 등 다양한 도메인 데이터를 사용했습니다.

2) Projection Network Realignment (프로젝션 네트워크 재정렬)
Decoder 확장 후에는 Vision Encoder와 Decoder를 Frozen 상태에서 프로젝션 네트워크만 재정렬했습니다.

이미지 캡셔닝, 멀티모달 지시-응답 쌍 등을 사용하여 시각 정보와 언어 정보의 연결을 다시 맞추었습니다.

학습 설정: Sequence Length 8192, Sequence Packing 적용. 업스케일링 단계의 체크포인트 6개를 평균(Averaging)하여 안정성을 높였습니다.

Continual Pretraining (CPT)

베이스 모델을 확장한 후, 텍스트 및 시각적 추론 능력을 강화하기 위해 2단계의 CPT 과정을 거쳤습니다.

Stage 1: 기초 추론 및 멀티모달 이해 (Foundational Reasoning)
첫 번째 단계는 모델의 기초 체력을 다지는 과정입니다.

• 데이터 구성:

  • 50% 텍스트 (수학, 과학, 코딩 등)

  • 20% Replay 데이터 (Upscaling 단계)

  • 30% 멀티모달 데이터 (OCR, 차트 이해, 긴 이미지 설명 등)

• 특징: Vision Encoder, Projection, Decoder를 모두 학습(Unfrozen)시켰으며, Sequence Length를 32,768로 늘려 긴 문맥 처리를 학습했습니다.

Stage 2: 타겟 시각 추론 (Targeted Visual Reasoning)
두 번째 단계는 복잡한 시각적 추론을 위해 합성 데이터(Synthetic Data)를 적극 활용했습니다.

• 합성 데이터 파이프라인: 원본 이미지를 변형하여 공간 구조, 구성 요소 이해 등을 학습하도록 유도했습니다.

  • Image Reconstruction: 이미지 일부를 마스킹하여 전체 장면 유추.

  • Visual Matching: 크롭되거나 변형된 이미지 간의 매칭.

  • Object Detection: 객체 위치 파악 및 Grounding.

  • Counting: 특정 요소의 개수 세기.

효과: 이 단계는 Vision Encoder를 얼리고 진행되었으며, MathVerse(+9.65점), AI2D(+3.7점) 등 시각적 추론 벤치마크에서 큰 성능 향상을 이끌어냈습니다.

Supervised Fine-Tuning (SFT)

마지막으로 모델을 완전한 'Reasoner'로 만들기 위한 SFT 단계입니다. 연구진은 모델 크기보다는 데이터의 품질(Quality)과 학습 전략에 집중했습니다.

1) 고품질 데이터 큐레이션 (Data Curation)

• Annotator: 효율성을 위해 gpt-oss-120b 모델을 데이터 생성 및 라벨링에 활용했습니다.
• 엄격한 필터링: 중복 제거 $\rightarrow$ 유해 콘텐츠 필터링 $\rightarrow$ LLM-as-Judge 및 코드 실행(Execution) 기반 검증을 통해 정확성을 확보했습니다.
• Chain of Thought: 모든 데이터는 최종 답변 도출 전에 명시적인 추론 단계(Explicit Reasoning Steps)를 포함하도록 구성되었습니다.

2) 학습 및 병합 전략 (Training & Merging)
단순한 학습을 넘어, 성능을 극대화하기 위해 독특한 체크포인트 병합(Merging) 전략을 사용했습니다.

• 초기 SFT: 전체 데이터로 4 epochs 학습 (Seq len 32k).
• 추가 학습 (Two Smaller Runs): 초기 SFT 모델을 기반으로 두 가지 버전의 추가 학습을 진행합니다.
  • Run A: 전체 데이터의 25%로 추가 학습.
  • Run B: Long-Context(49,152) 데이터 위주로 추가 학습.

최종 병합: Run A와 Run B의 가중치를 평균(Averaging)하여 최종 APRIEL-1.5-15B-THINKER를 완성했습니다.

Insight: 서로 다른 특성(일반 성능 vs 긴 문맥 성능)을 가진 모델을 병합함으로써 추가적인 큰 비용 없이 두 마리 토끼를 잡는 효과를 얻었습니다.