OTIS Mock AIME 2024-2025｜Epoch AI 日本語版

OTISの競技形式の数学問題45問。MATH Level 5より難しく、FrontierMathより易しい。

概要

Mock AIME 2024-2025は、2024年と2025年のOTIS Mock AIMEの試験から取った問題集である。問題はOlympiad Training for Individual Study（OTIS）というプログラムの生徒が作成した。OTIS Mock AIMEは毎年行われる3時間の試験で、答えが0から999までの整数になる15問で構成される。名前が示すとおり、American Invitational Mathematics Exam（AIME）を模した非公式の試験である。

データセットには、3回の試験から計45問が含まれる。

これらの問題はMATH Level 5の問題より難しく、FrontierMathの問題より易しい。

方法論

Mock AIMEについては、評価の設定を理解するにはログビューアを使うのが最善である（たとえばo3-mini-2025-01-31についてはこちらをクリック）。

次のプロンプトを使っている。

このAIMEの問題を一歩ずつ解いてください。答えは000から999まで（両端を含む）の整数です。

{question}

解く過程をはっきり示し、最後は「ANSWER: X」で終えることを忘れないでください。Xは最終的な数値の答えです。

45問のうち画像を含む3問については、画像を入力に含めなかった（こうすることで、画像に対応していないモデルも含め、すべてのモデルに同じ入力を与えられる）。ただし、その画像を生成するTikZまたはAsymptoteのコードは入力に含めている。

当初は、モデルの提出した答えと正解（0から999まで、両端を含む整数でなければならない）を見て、モデルの最終的な答えが正しいかどうかを返す、モデルを使った採点器を使っていた。この方式では、答えが「ANSWER: $ANSWER」の形になっていなくても、採点役のモデルが受け入れれば、モデルはその問題で得点できる。ほとんどの場合はこれでうまくいったが、採点役のモデルにはいくつか癖があることに気づいた。たとえば、空欄の答えを正解と判定しがちだった。2025年9月に、モデルを使った答えの抽出器に切り替えた。抽出器には正解を与えず、モデルの最終的な答えを取り出すことだけを任せる。取り出した答えは、正解表と完全に一致するかで照合する。

Grok 4

grok-4-0709については、2025年7月にAPIを使った際、タイムアウトとネットワークエラーが発生した。

そのため、2025年7月の時点では、Grok 4を次の特別な採点規則で評価した。

FrontierMath-2025-02-28-Privateは、標準の設定で評価した。記録IDはgda5UeWrA8HcbDCRuLJ56Hである。ストリーミングAPIを使った。サーバーが何も応答を返さなかったため、290問中1問は採点されなかった（採点されずに失敗するサンプルは1%まで認めている）。

OTIS Mock AIME 2024-2025、GPQA diamond、FrontierMath-Tier-4-2025-07-01-Privateについては、xAIの推奨に従い、リクエストあたりの最大出力長を128,000トークンとした（既定では上限なし）。ネットワークエラーやタイムアウトで失敗したリクエストがあれば、対応するサンプルを評価の採点段階に直接回した（その場合、通常は不正解と判定される）。これは、評価の時間的な制約が非常に厳しかったためである。

ベンチマーク	正解率	APIエラーが出たサンプル	実行ID
OTIS Mock AIME 2024-2025	84% (±5%)	45*8=360件中4件（1%）	cvTPRDCM38zSTn9Y3MUb9d
GPQA diamond	87% (±2%)	198 × 8 = 1584件中7件（0.4%）	A85Zfq2qguE4X9xXBweBHP
FrontierMath-Tier-4-2025-07-01-Private	2% (±2%)	48件中8件（16%）	QxtNUmV2L34UyrySmBLTbv

この評価について、xAIは私たちに対価を支払い、計算資源のクレジットを提供した。秘密保持契約（NDA）は結んでおらず、編集上の独立性を完全に保った。結果は性能にかかわらずすべて公開している。

実装に使ったコードはこちらにある。