ResearchMath-14K: Scaling Research-Level Mathematics via Agents
ResearchMath-14K: 에이전트로 연구 수준 수학 문제를 대규모로 수집하다
논문 제목: ResearchMath-14K: Scaling Research-Level Mathematics via Agents
저자: Guijin Son, Seungyeop Yi, Minju Gwak, Hyunwoo Ko, Wongi Jang, Youngjae Yu
소속: Seoul National University, OneLineAI, Yonsei University
arXiv: 2605.28003 | HuggingFace: amphora/ResearchMath-14k
발표일: 2025년 5월 27일 | 업보트: 26
데이터셋: https://huggingface.co/datasets/amphora/ResearchMath-14k
💡 한 줄 요약
멀티 에이전트 파이프라인으로 학술 문헌에서 연구 수준의 수학 문제 14,056개를 수집하고, 이를 필터링한 추론 궤적으로 파인튜닝하면 베이스 모델 대비 평균 9.2점 향상이 가능하다.
📄 초록 (Abstract) 번역
수학의 최전선은 아직 답이 알려지지 않은 문제들로 정의됩니다. 그러나 언어 모델이 인간의 개입 없이 이러한 문제들을 의미 있는 방식으로 다룰 수 있는지는 여전히 불분명합니다. 가장 큰 장애물은 연구 수준의 대규모 수학 데이터셋이 부족하다는 점입니다.
이를 해결하기 위해, 저자들은 ResearchMath-14k를 소개합니다. 이는 멀티 에이전트 파이프라인을 통해 학술 자료에서 수집된 14,056개의 문제로 구성된 데이터셋으로, 현재까지 가장 큰 규모의 연구 수준 수학 문제 모음입니다.
또한 두 개의 오픈 모델로부터 22만 개의 교사 추론 궤적(teacher trajectories)을 생성한 ResearchMath-Reasoning 데이터셋도 함께 제공합니다. 이 과정에서 모델들이 문제 풀이를 회피하거나 가짜 참고문헌을 만들어내는 반복적인 회피 행동(avoidance behavior)이 관찰되었습니다. 흥미롭게도, 8개의 오픈 웨이트 모델을 분석한 결과 최신 세대 모델일수록 추론 궤적당 참고문헌을 5.6배 더 많이, 가짜 참고문헌은 5.0배 더 많이 생성하는 것으로 나타났습니다.
ResearchMath-Reasoning에 에이전트 기반 필터링을 적용한 후, Qwen3 모델(4B~30B 파라미터)을 파인튜닝한 결과 베이스 모델 대비 평균 9.2점 향상을 달성했습니다. 이는 완전히 정답인 추론 궤적이 없더라도, 필터링된 미해결 문제 시도 데이터가 유용한 지도 학습 신호를 제공할 수 있음을 보여줍니다. ResearchMath-14k는 향후 연구 수준 수학 추론 연구를 위해 공개됩니다.
1. 서론 (Introduction)
▲ ResearchMath-14k의 도메인 분포. 버블 크기는 각 수학 분야의 문제 수에 비례.
1.1 배경: 수학자처럼 생각하려면
수학자들은 오랜 훈련을 거칩니다. 학부 교재와 연습 문제에서 시작해, 세미나 문제, 자격 시험 수준의 질문, 그리고 단기 연구 과제로 점차 수준을 높여갑니다. 이 과정에서 수학자들은 핵심 역량을 익힙니다:
- 보조 정리(Lemma)로 문제를 분해하기
- 구체적인 예시(example) 테스트하기
- 다룰 수 있는 하위 문제(subproblem) 분리하기
- 그럴듯한 경로와 실제 증명을 구별하기
- 진정한 불확실성 하에서 추론하기
최근 프론티어 독점 모델들(GPT 계열 등)은 이러한 역량의 일부를 내재화하는 것처럼 보이기 시작했습니다. 하지만 오픈소스 생태계는 이 흐름을 따라가지 못하고 있습니다.
1.2 문제 진단: 오픈소스의 한계
현재 공개된 수학 훈련 데이터는 거의 대부분 올림피아드 수준 이하의 경시 대회 문제를 대상으로 합니다. 연구 최전선까지 도달하는 몇 안 되는 데이터셋들은 오염(contamination) 방지를 위해 비공개 평가 벤치마크로만 활용됩니다.
🔍 핵심 질문: 그렇다면 연구 수준의 수학 문제를 대규모로 어디서 얻을 수 있을까요?
기존 연구들은 주로 두 가지 비싼 방법에 의존했습니다:
1. 다중 LLM 파이프라인으로 어려운 문제를 합성(synthesize)
2. 인간 전문가의 직접 작성
이 두 방법 모두 비용이 매우 높습니다. 저자들은 이에 대한 대안으로 학술 문헌에 이미 존재하는 미해결 문제들을 에이전트로 수집하는 방법을 제안합니다.
2. 데이터셋 구축 방법론 (Method)
2.1 기존 미해결 문제 수집
저자들은 2단계 에이전트 파이프라인으로 ResearchMath-14k를 구축합니다.
🤖 파이프라인 구조
[소스 문서] → [추출기 에이전트(Extractor)] → [정제기 에이전트(Refiner)] → [최종 JSON 레코드]추출기 에이전트(Extractor Agent):
- 소스 URL을 따라 문서 섹션을 매핑
- 미해결 문제 후보를 탐지
- 관련 인용문(supporting quotes) 보존
- 독립형 질문으로 재작성
정제기 에이전트(Refiner Agent):
- 미해결 상태 검증
- 분류 체계(taxonomy) 레이블 할당
- 각 후보를 자기 완결형(self-contained) 연구 문제로 재작성
- 최종 JSON 레코드 생성 (문제 진술, 상태, 도메인 메타데이터, 출처, 해결책 필드 포함)
💡 추출기는 GPT-5.5 기반 Codex를 xhigh 추론 노력(reasoning effort) 설정으로 구동합니다.
📂 세 가지 소스 스트림
| 소스 유형 | 문서 수 | 문제 수 |
|---|---|---|
| arXiv 미해결 문제 논문 | 524개 | 8,182개 |
| 미해결 문제 웹 페이지 | 161개 | 5,331개 |
| 문제 세션 시트 & 큐레이션 목록 | 548개 | 7,322개 |
| 합계 | 1,233개 | 20,835개 |
arXiv 미해결 문제 논문: "open problems" 또는 "unsolved" 키워드로 검색하여 수집
웹 페이지: Google 검색으로 academia.edu, MathOverflow, Wikipedia 등에서 발견
문제 세션 시트: AIM 스타일 워크숍 문제 세션, 학회 미해결 문제 라운드 등 포함. 수학자들이 워크숍 말미에 제기하는 질문들이 바로 이 카테고리에 해당합니다.
2.2 근중복(Near-Duplicate) 필터링
20,835개의 초기 문제 중 많은 문제가 서로 다른 소스에서 약간 다른 형태로 표현된 동일한 미해결 문제입니다. 이를 처리하기 위한 방법:
필터링 과정
- 임베딩: 모든 문제를 Qwen3-Embedding-8B으로 벡터화
- 유사도 계산: 원본 진술과 자기 완결형 재작성본 양쪽에 대해 쌍별(pairwise) 유사도 계산
- 임계값 설정: 수동 검토 후 0.9로 설정
- 임계값이 낮으면 → 같은 논문 내 다른 문제가 중복으로 오탐(false positive)
- 임계값이 높으면 → 진짜 중복이 제거되지 않음
- 우선순위: 두 유사도 점수 중 하나라도 0.9를 초과하면 중복으로 표시. arXiv/논문 소스 버전 유지, Google 검색 버전 제거
⚠️ 보수적 필터링으로 인해 일부 밀접하게 관련된 고유 문제가 제거될 수 있으므로, 원본 시드 세트(seed set)도 함께 공개합니다.
최종 결과: 14,056개 문제
2.3 데이터셋 통계
각 문제에는 3단계 분류 체계(taxonomy)가 부여됩니다.
레벨 1 도메인 그룹
| 도메인 | 설명 |
|---|---|
| 해석학, 편미분방정식, 동역학 | Analysis, PDEs, and Dynamics |
| 수리물리학 | Mathematical Physics |
| 이산수학 및 조합론 | Discrete Mathematics and Combinatorics |
| 수론 | Number Theory |
| 기하학 및 위상수학 | Geometry and Topology |
| 이론 컴퓨터과학 | Theoretical Computer Science |
| 대수학 및 표현론 | Algebra and Representation Theory |
| 확률론, 통계학, ML | Probability, Statistics, and ML |
| 응용 및 계산 수학 | Applied and Computational Mathematics |
| 논리학 및 기초론 | Logic and Foundations (455개, 3.2%) |
| 기타/학제간 | Other/Cross-disciplinary (311개, 2.2%) |
3. ResearchMath-Reasoning: 추론 궤적 생성
3.1 교사 추론 궤적(Teacher Trajectories) 생성
저자들은 두 개의 오픈 모델로부터 22만 개(220K)의 교사 추론 궤적을 생성합니다. 각 문제에 대해 모델이 풀이를 시도한 긴 추론 과정 전체를 기록한 것입니다.
3.2 회피 행동(Avoidance Behavior) 발견
연구 수준 문제에 대한 모델 응답을 분석하는 과정에서 놀라운 패턴이 발견되었습니다:
🚨 두 가지 주요 회피 행동
1. 비시도(Non-attempts)
- 모델이 실제로 문제를 풀려 하지 않고 "이 문제는 현재 미해결 문제입니다"라고만 언급하거나 일반적인 논의로 회피
2. 가짜 참고문헌(Fabricated References)
- 존재하지 않는 논문, 저자, 학술지를 인용
- 마치 실제 학술 문헌을 참조하는 것처럼 보이지만 완전히 허구
📊 세대별 가짜 참고문헌 증가 추세
8개의 오픈 웨이트 모델을 분석한 충격적인 결과:
- 최신 세대 모델 → 추론 궤적당 5.6배 더 많은 참고문헌 생성
- 최신 세대 모델 → 추론 궤적당 5.0배 더 많은 가짜 참고문헌 생성
💭 해석: 모델이 점점 더 정교해질수록 학술적 글쓰기 스타일을 잘 모방하지만, 동시에 존재하지 않는 참고문헌을 생성하는 환각(hallucination) 능력도 함께 발전합니다. 이는 연구 수준 문제에서 특히 위험한 현상입니다.
4. 에이전트 기반 필터링 (Agentic Filtering)
22만 개의 추론 궤적을 그대로 사용하면 가짜 참고문헌과 비시도 등 노이즈가 많습니다. 이를 정제하기 위해 에이전트 기반 필터링을 적용합니다.
필터링 기준
- 비시도 제거: 실질적인 문제 풀이 시도가 없는 응답 제거
- 가짜 참고문헌 탐지: 인용된 참고문헌의 실재 여부 검증
- 품질 검증: 수학적으로 의미 있는 추론 단계가 포함되었는지 확인
🔑 핵심 인사이트: 완전히 정답인 추론 궤적이 없어도, 필터링된 미해결 문제 시도 데이터만으로도 유용한 지도 학습 신호를 제공할 수 있습니다.
5. 실험 결과 (Experiments)
5.1 파인튜닝 실험
필터링된 ResearchMath-Reasoning 데이터로 Qwen3 모델 시리즈를 파인튜닝합니다.
모델 크기 범위
- Qwen3-4B
- Qwen3-8B
- Qwen3-14B
- Qwen3-30B
5.2 주요 결과
| 모델 | 베이스 모델 | 파인튜닝 후 | 향상 |
|---|---|---|---|
| Qwen3-4B | 기준 | +9.2점 (평균) | ✅ |
| Qwen3-8B | 기준 | +9.2점 (평균) | ✅ |
| Qwen3-14B | 기준 | +9.2점 (평균) | ✅ |
| Qwen3-30B | 기준 | +9.2점 (평균) | ✅ |
평균 9.2점 향상 (4B~30B 전 구간에서 일관된 개선)
5.3 의의
이 결과는 두 가지 중요한 사실을 시사합니다:
- 규모 일반화: 작은 모델(4B)부터 큰 모델(30B)까지 모두 일관되게 향상
- 불완전한 데이터의 활용 가능성: 미해결 문제에 대한 완전히 정답인 추론 궤적 없이도, 필터링된 시도 데이터만으로 효과적인 지도 학습 가능
6. 결론 (Conclusion)
핵심 기여
- ResearchMath-14k: 14,056개의 연구 수준 수학 문제 — 현재까지 최대 규모의 공개 연구 수준 수학 데이터셋
- ResearchMath-Reasoning: 22만 개의 교사 추론 궤적
- 회피 행동 분석: 모델의 가짜 참고문헌 생성 현상을 체계적으로 문서화
- 에이전트 필터링 파이프라인: 노이즈 있는 추론 궤적을 정제하는 방법론
- 파인튜닝 효과 검증: 필터링된 미해결 문제 데이터로 평균 9.2점 향상
한계점
- 데이터 수집이 영어 학술 문헌에 치중되어 있어 다국어 편향 가능성
- 중복 필터링(임계값 0.9)이 보수적이어서 일부 유효한 문제 제거 가능
- 추론 궤적의 정답 여부를 완전히 검증하기 어려움 (미해결 문제이므로 정답 자체가 없음)
- 가짜 참고문헌 탐지의 완전성 보장 어려움
🧑💻 개인 소감
이 논문은 AI 수학 연구에서 오랫동안 간과되어 온 "연구 수준 문제의 대규모 공개 데이터 부재" 라는 근본적인 병목을 정면으로 다루고 있습니다. 올림피아드 수준의 문제는 이미 AMC, AIME, IMO 등 여러 경로로 풍부하게 수집되었지만, 실제 수학자들이 씨름하는 미해결 연구 문제들은 그동안 오염 방지라는 명목으로 벤치마크에만 가두어져 있었습니다. ResearchMath-14k는 이 공백을 메우는 중요한 첫 걸음이라고 생각합니다.
특히 흥미로운 발견은 모델 세대가 높아질수록 가짜 참고문헌이 기하급수적으로 증가한다는 점입니다. 이는 모델이 학술적 글쓰기 패턴을 더 잘 모방할수록 오히려 더 설득력 있는 환각을 생성한다는 역설을 보여줍니다. 연구 수준 수학에서 이 현상은 특히 위험한데, 잘못된 참고문헌 하나가 전체 증명의 신뢰성을 무너뜨릴 수 있기 때문입니다. 이 문제를 에이전트 필터링으로 완화하려는 시도는 매우 실용적인 접근입니다.
마지막으로, 정답이 없는 미해결 문제로도 모델을 효과적으로 훈련할 수 있다는 발견은 앞으로 수학 AI 연구의 지평을 크게 넓힐 것 같습니다. 정답 레이블이 없는 상황에서도 모델이 수학적 추론 능력을 향상시킬 수 있다면, 진정한 의미에서 AI가 수학 연구에 기여하는 날이 생각보다 가까울 수 있습니다. 데이터셋이 공개되었으니, 국내 연구자들도 이를 활용한 후속 연구가 활발하게 이루어지길 기대합니다.
🏷️ 태그
#수학AI #ResearchMath #대규모언어모델 #LLM #수학추론 #MathematicalReasoning #멀티에이전트 #MultiAgent #데이터셋 #Dataset #파인튜닝 #FineTuning #Qwen3 #미해결문제 #OpenProblems #환각탐지 #HallucinationDetection #오픈소스AI #OpenSourceAI #교사추론궤적 #TeacherTrajectories
