AI Mathematical Olympiad - Progress Prize 2
-> Solve national-level math challenges using artificial intelligence models
개요
-
The goal of this competition is to create algorithms and models that can solve tricky math problems written in LaTeX format.
-
이 대회의 목표는 LaTeX 형식으로 작성된 까다로운 수학 문제를 풀 수 있는 알고리즘과 모델을 만드는 것입니다.
설명
-
This second AIMO Progress Prize competition has 110 math problems in algebra, combinatorics, geometry and number theory. The difficulty has been increased from the first competition, and the problems are now around the National Olympiad level. The problems have also been designed to be 'AI hard' in terms of the mathematical reasoning required, which was tested against current open LLMs' capabilities.
-
이 두 번째 AIMO Progress Prize 대회는 대수학, 조합론, 기하학 및 정수론에서 110개의 수학 문제를 다룹니다. 첫 번째 대회보다 난이도가 높아졌고, 이제 문제는 전국 올림픽 수준입니다. 또한 이 문제들은 필요한 수학적 추론 측면에서 'AI 하드'로 설계되었으며, 이는 현재 개방형 LLM의 기능에 대해 테스트되었습니다.
평가
-
Submissions are evaluated on the accuracy between their predicted labels and the ground-truth labels. In other words, submissions are ranked by the fraction of predicted labels that exactly match the ground-truth labels.
-
제출물은 예측된 레이블과 실측 레이블 간의 정확도에 따라 평가됩니다. 즉, 제출물은 ground-truth 레이블과 정확히 일치하는 예측된 레이블의 비율에 따라 순위가 매겨집니다.
-
In this competition, every ground-truth label is an integer between 0 and 999, inclusive.
-
You should arrive at this number by taking the problem solution modulo 1000. If, for instance, you believe the solution to a problem is 65521 should be reported as 521 and -900 should be reported as 100. To be clear, for positive integers larger than 1000, this means: report the last three digits, discarding any initial zero(s). Thus 1009 should be reported as 9.
제출
-
You must submit to this competition using the provided Python evaluation API, which serves test set instances one-by-one in random order. To use the API, follow the template in this notebook.
-
제공된 Python 평가 API를 사용하여 이 대회에 제출해야 하며, 이 API는 테스트 세트 인스턴스를 무작위 순서로 하나씩 제공합니다. API를 사용하려면 이 Notebook의 템플릿을 따릅니다.
수상
1등: $262,144
2등: $131,072
3등: $65,536
4등: $32,768
5등: $16,384
-
The Overall Progress Prize Winner shall be the highest ranking team that achieves a score of at least 47/50 on both public and private test sets. After any prizes for the five top-ranking teams have been awarded, the remainder of the total fund shall be awarded to the Overall Progress Prize Winner.
-
Overall Progress Prize 수상자는 공개 및 비공개 테스트 세트에서 최소 47/50의 점수를 획득한 가장 높은 순위의 팀이 됩니다. 상위 5개 팀에 대한 상품이 수여된 후, 총 기금의 나머지 금액은 Overall Progress Prize 수상자에게 수여됩니다.
타임라인
2024.10.17 ~ 2024.04.01
요구사항
Submissions to this competition must be made through Notebooks. In order for the "Submit" button to be active after a commit, the following conditions must be met:
- CPU Notebook <= 9 hours run-time
- GPU Notebook <= 5 hours run-time
- Internet access disabled
- Freely & publicly available external data is allowed, including pre-trained models
- Submission file must be generated by the API.
이 대회에 대한 제출은 노트북을 통해 이루어져야 합니다. 커밋 후 "제출" 버튼이 활성화되려면 다음 조건이 충족되어야 합니다:
- CPU 노트북 <= 실행 시간 9시간
- GPU 노트북 <= 실행 시간 5시간
- 인터넷 액세스 사용 안 함
- 사전 학습된 모델을 포함하여 자유롭게 공개적으로 사용할 수 있는 외부 데이터가 허용됩니다.
- 제출 파일은 API에 의해 생성되어야 합니다.
