LLMは高校数学コンテストの最難関問題をまだ解けていない

Art of Problem Solvingのコンテスト難易度評価と、米国IMOコーチのEvan Chen氏による数学オリンピック難易度尺度（Math Olympiad Hardness Scale、MOHS）を組み合わせて、統一的な問題難易度の尺度を構築した。AIME、USAMO、IMOの正答率データはMathArenaから取得し、リリース時点で最高水準だったモデルをプロットしている。また、IMOで金メダル相当のスコアを達成した未公開モデルについて発表されたスコアもプロットしている。

一般公開されているモデルは、難易度5までの問題で95%超の正答率を達成している。難易度6〜7の問題は完全には飽和していないが、GPT-5は67%超を達成している。残る差は信頼性によるもので、4回サンプリングすれば各問題を少なくとも1回は解いている。2025年のIMOには、難易度7の問題が3問、8が2問、9が1問含まれていた。GoogleのDeep Thinkなどの一部の実験的なLLMは、このうち最後の1問を除くすべてを解いた。標本数が少ないため、一般公開されているDeep Thinkモデルを、答えを確認しやすい2024年IMOの2問（難易度8と9）でも試したところ、10回のサンプリングでいずれの問題も一度も解けなかった。