未解決の数学の問題でAIをベンチマークする

FrontierMath: Open Problems

本研究はSchmidt Sciencesの助成を受けて行われた。

AIの数学の能力は、短期間で大きく進歩した。2024年半ばの時点では、高校の数学でさえまだ難題だった。2025年末には、AIシステムは、人間のトップ専門家にしか解けないように作られた極めて難しい問題を解くようになっていた。本稿の執筆時点では、AIシステムがどの人間も解いたことのない問題をまもなく解けるようになる可能性は高いと思われる。

実際、すでにその兆しはある。たとえば、AIシステムがそれまで未解決だったエルデシュの問題をいくつか解いた。しかし、こうした結果を位置づけるのは難しかった。これらの問題は数学的に重要なのか。人間はそれまでどれほど本気で解こうとしてきたのか。この結果はAIの能力について何か新しいことを語っているのか。

こうした問いに答える手がかりになればと考え、本日、新しいベンチマーク「FrontierMath: Open Problems」の試験版を公開する。このベンチマークは、研究数学の未解決問題のうち、プロの数学者が解こうとして解けなかったものからなる。大規模な評価をしやすくするため、提案された解をプログラムで検証できる問題だけを収録している。

公開時点で、私たちの知る限り、これらの問題はどれも人間にもAIシステムにも解かれていない。AIシステムがどれか一つでも解けば、それは人類の知の最前線における意味のある前進となる。さらに、それがどれほど意味のある前進なのかも言える。問題を提供した数学者たちが、ほどほどに興味深い結果から大きなブレークスルーまで、各問題の重要度を評価しているからである。

試験版は14問からなり、次のものを含む。

• 問題の重要性と難しさを説明する解説
• AIシステムにそのまま与えられる厳密なプロンプト（ぜひ自分で試してほしい）
• AIシステムによる最初の解答の試み

今後数か月のうちに問題を追加する予定で、積極的に問題の提供を依頼している。提供に関心のある方は、問題提案フォームを参照してほしい。

検証器（解の候補を評価するプログラム）については、有料で利用を提供する。このような形にしたのは、ベンチマークを拡充する費用をまかなうためである。問題の作成には多くの労力がかかり、解が一つ出るたびにベンチマークの問題数は事実上減っていく。そこで、検証器を使いたい方には、さらなる拡充の資金を支える協力者になってもらうようお願いしている。利用の許可は公平に行い、特定の組織だけに独占的に与えることはしない。お問い合わせはmath@epoch.aiまで。

問題の例

分野：組合せ論

ほどほどに興味深い

$B_n$ を $n$ 頂点の三角形のブックグラフとする。与えられた $n$ について、ラムゼー数 $R(B_{n-1},B_n)$ が $4n-2$ より大きいことを示すグラフを構成せよ。

$R(B_{n-1},B_n)$ の一般的な構成を見つけられれば、計算グラフ理論の研究者にとって興味深い。そのような構成は、$R(B_m,B_n)$ の他の値の上下界を証明するのにおそらく役立ち、さらに他の一般のラムゼー数にも役立つ可能性がある。

William J. Wesleyカリフォルニア大学サンディエゴ校 SEW客員助教授この問題について詳しく読む

分野：組合せ論

確かな成果

標数 $3$ の代数的閉体上で、ピカール数が $1$ で特異点をいくらでも多く持つ、明示的な正規射影KLT del Pezzo曲面 $X$ の族を構成せよ。

標数 $3$ での構成が見つかれば、小さな標数に特有の新しい現象が明らかになる。それは、正標数におけるファノ多様体と極小モデルプログラム（MMP）を理解するという、より大きな研究計画にとって重要である。

Paolo Casciniユニバーシティ・カレッジ・ロンドン 数学教授この問題について詳しく読む

分野：整数論

大きな前進

$\mathbb{Q}$ 上の分解体のガロア群が $M_{23}$ となる、$\mathbb{Z}[x]$ の $23$ 次多項式を見つけよ。

逆ガロア問題は、整数論で最も基本的な未解決問題の一つであり、あらかじめ指定した対称性を持つ多項式を構成することを求める。これは、この問題が未解決である最小の場合である。散在型単純群のうち構成が知られていない最後の一つであるため、特に興味深い。

Daniel Littトロント大学 数学科助教授この問題について詳しく読む

分野：位相幾何学

ブレークスルー

結び目を入力として受け取り、その結び目の結び目解消数が1に等しいかどうかを判定するアルゴリズムを示せ。

この問題は、低次元トポロジーの根本的な問題の一つである。結び目をほどいて自明なものにするのがどれほど難しいかについての基本的な問いである。解ければ、結び目理論における大きな成果になる。

Joel Hassカリフォルニア大学デービス校 数学科教授この問題について詳しく読む

問題は数学的に意味があり、多様で、難しい

問題はプロの数学者から提供されている。提供者は、自分の研究で身近な問題のうち、解かれるのを見てみたいものを提案する。提供者は解の意義（注目度）を、ある分野の中でほどほどに興味深い結果から大きなブレークスルーまでの段階で評価する。私たちは、問題がこれらの段階に均等に散らばるようにすることを目指している。

私たちの目標は、それ自体として数学者にとって意味のある問題を見つけることである。AIにとって難しいかどうかを基準に問題を選んではいない。試験のためにこしらえた問題とは違い、これらの問題は研究数学の営みの核心にある¹。私たちが知りたいのは、AIシステムがこれらを解けるかどうかである。解けるなら、それはそれでよい。

とはいえ、少なくとも人間にとって、これらの問題は難しい。提供者は、これまで何人の数学者が本気で解こうとしてきたかの推定値を各問題に付けており、その回答は2〜4人から50〜100人にわたる。

提供者は、人間が解くのにかかる時間も推測している。具体的には、その問題を解く力が最も高い数学者がフルタイムで取り組んだとして、50%の確率で解けるまでにかかる期間である。回答は1〜4週間から3〜10年にわたる²。つまり、人間の基準値は高い。

問題は数学のさまざまな分野にわたる。試験版は組合せ論と整数論に偏っているが、それはたまたま、自動検証に向く問題がこれらの分野で最も多く見つかったからである。ベンチマークを拡充していくなかでも、分野の多様性を保つことを目指している。

問題を集める手順の詳細は、問題提案フォームを参照してほしい。

解は自動で検証できる

未解決の数学の問題に対するAIの解を評価するのは、実務上の大きな課題である。数学の研究はふつう、自然言語で書かれた論文の形で進む。そうした論文の評価は、人間にとってさえ手間がかかり、誤りも起こりやすい。AIシステムは自然言語の数学を評価する能力を高めてきたが、高度な内容についてはその評価の正確さに頼れない³。

私たちの方法は、現時点で解は知られていないものの、提案された解を、一般的なコンピュータ上で動く比較的単純なプログラムで確かめられる問題を見つけることである。そのように検証できる問題が存在するかどうかは自明ではないが、実際に存在する。

たとえば、ごく具体的な数学的対象を求める問題がある。その一例は、ある性質を持つ多項式を求めるものである⁴。与えられた多項式が求める性質を持つかどうかはすぐに確かめられるが、そのような多項式を見つけることは、高度に最適化された大規模な探索を含め、知られているどの手法でも手が届かない。この問題が意味を持つのは、求める対象を構成するには概念的なアプローチが必要だと思われるからである。

別の場合には、すべての正の整数について成り立つ構成を求める。これを一般に検証することはできないが、整数を受け取ってその整数に対する構成を返すアルゴリズムを求めることはできる。そのアルゴリズムを、現時点で構成が知られておらず、探索では手に負えないほど大きい整数からなる課題用の集合で検証すればよい。ここで成功すれば、そのアルゴリズムが一般的な解を実装していることの強い証拠になる。

欠点は、この方法では問えることが限られることである。理想は、すべての未解決の数学の問題から無作為に抽出することだが、この制約は偏りを持ち込む。ベンチマークの問題は比較的具体的なものになりがちで、「理論の構築」のような、輪郭のはっきりしない数学の営みを必要としないかもしれない。それでも、この制約を満たし、数学的に意味のある多様な問題を数学者たちがすんなりと考え出せたことには、うれしい驚きがあった⁵。

ベンチマークには解けない問題が含まれているかもしれない

このベンチマークに本来的に伴うリスクの一つは、問題に記述どおりの解がないかもしれないことである。これには二つの形がある。求める数学的対象が存在しない場合と、存在はするが大きすぎて検証器で有効と認定できない場合である。

こうした場合があっても、ベンチマーク全体の解釈が損なわれるとは考えていない。解けたなら、それは明らかに意味がある。ある難易度の問題が一つも解けないことにも、おそらく意味がある。そしてその意味は、問題集を現在の試験版の規模を超えて増やすにつれて大きくなる。そこで、「AIがほどほどに興味深い未解決の数学の問題を解いた例はいくつか見てきたが、大きな前進の例はまだ一つもない」といった形の解釈を勧めたい。

とはいえ、少なくとも解が存在する可能性が高い問題だけを収録するよう努めた。いくつかの問題には、求める形の解が存在すると考える発見的な理由がある。またどの問題にも、少なくとも解が存在しないと考える理由は見当たらない⁶。

私たちが目標としたのは、問題が記述どおりに解ける確率を問題の提供者が80%以上と評価することだった⁷。ただし、数学者が50〜80%の範囲の確率を付けるときには、強い不確実性を示すことが多かった。

解かれた問題はベンチマークから外す

問題が解かれた場合、それが人間によるものでもAIによるものでも、結果は公表される⁸。そうなれば、同じ問題に挑む将来のAIシステムは、単に解を調べればよいことになる。このため、解かれた問題はベンチマークから外す。

この「最初に解いた者勝ち」の仕組みは一般的ではないが、Open Problemsベンチマーク全体の価値を損なうとは考えていない。このベンチマークは、未解決問題を解く能力をモデル間で比べるのに使えるスコアは出さない。しかし、ある難易度と重要度の問題をAIシステムが解けるかどうかは教えてくれる。

このベンチマークはAIの「研究のセンス」を追跡するのに役立つ

このベンチマークが直接問うのは、AIが未解決の数学の問題を解けるかどうかである。私たちは、これが「研究のセンス」のような、もっと輪郭のはっきりしない概念を追跡するのにも役立つと考えている。研究のセンスとは、追究すべき正しい方向を選んだり、正しいパターンに気づいたりすることに、AIシステムがどれだけ長けているかである。

こうした能力は、正しいアイデアを見つけるのが特に難しい理論数学で重要になる可能性が高いと思われる。人間の多大な努力をはねつけてきた数学の問題をAIシステムが解けるなら、AIシステムは研究のセンス全般で人間を超える方向に進みつつあるのかもしれない。

決してそうと決まっているわけではない。チェスや囲碁のように、数学が形式的な性質を持つためにAIシステムにとってとりわけ「易しい」ことが判明するかもしれない。あるいは、AIシステムは比較的エレガントでないと私たちが見なすやり方でこれらの問題を解くかもしれない⁹。それでも、数値化しにくい能力を追跡するための道具箱にこのベンチマークを加えられることをうれしく思う。

AIシステムにこれらの問題を解かせる本格的な試みを期待している

私たちの第一の目標は、AIの数学の能力の最前線を理解することである。しかし、ベンチマークの問題でAIの能力を最もよく引き出す方法ははっきりしない。

これまでのところ、GPT-5.2 ProとGemini 3 Deep Thinkに、それぞれのWebアプリで単純にプロンプトを与えることを試した¹⁰。その結果は個々の問題のページに載せている。この設定では、モデルはおおむね「ウォームアップ」問題、つまり未解決問題の変種で解が知られているものを解くことができる。このことから、モデルが指示を理解し、その分野に通じていることが分かる。検証器のテストにも役立つ。

しかし、実際の未解決問題を与えると、モデルはあまり見込みを示さない。必要と思われる概念的なアプローチではなく、最適化のアプローチにこだわるように見えることもある。問題が未解決だと気づいて、あっさり諦めることもある。

より多くの「思考」が重要な要素になる可能性が高いと思われる。モデルはすでに計画し、実行し、修正し、反復している。だが、これらの問題に挑む見込みを持つには、そのためにはるかに多くの時間と資源が必要かもしれない。それをモデルに具体的にどう与えるかは、未解決の研究課題である¹¹。

私たちはこの種の長時間の試みを支える足場（スキャフォールド）を開発しており、他の人々も試みてくれることを願っている。質問はmath@epoch.aiまで。

付録：将来のAIの解についての注意点

このベンチマークは、本質的には、一群の数学の問題がどれほど興味深いかを事前登録するものである。とはいえ、これらの問題がある種のやり方で解かれた場合には、いくつかの注意書きが必要になるかもしれない。ここでは、後になってゴールポストを動かしているという懸念を和らげるために、そうした注意点もあらかじめ登録しておく¹²。

共同作業。人間とAIシステムのあいだでは、すでに実りある数学の共同作業が行われている。典型的なパターンは、AIシステムがいくつかの例を具体的に計算し、人間がそれを一般化して完全な解にするというものである。実際、役に立つ例をコンピュータで探すことは、LLMベースのAIシステムよりずっと前から行われてきた。そのような解については、背後にある役割分担を評価しなければならない。AIシステムが概念的な部分を担う割合が大きいほど、能力の進歩をよく示すことになる。

先行研究。AIシステムの数学知識の幅は、すでにトップの人間を上回っているかもしれない。既存の結果が問題を解くための作業の大部分をすでに済ませていて、その問題に挑んだ数学者たちが単にそれを知らなかった、ということもありうる。よく知られた問題ではそうなる可能性は低いが、いずれにせよ、そうした結果に頼ったAIの解は、能力の進歩を示すものとしてはかなり弱い。もちろん、AIシステムが既知の結果を新しいやり方で応用したのであれば、注意書きは要らない。数学の研究の多くはそういう性格のものだからである。

従来型の計算資源。AIシステムが最適化された並列化可能な探索アルゴリズムを提案し、AI企業がその探索の実行にスーパーコンピュータ1か月分を投じれば、想定より少ない数学的洞察で問題が解けてしまうかもしれない。総当たりだけでは成功しそうにない問題を選んだが、確実とは言いがたい。ほとんどの問題には、産業規模の資源が投じられたことがないからである。

検証器の仕様の誤り。検証器が、あるAIの解を受け入れても、その解が、問題の提供者が検証器に見分けさせようとしていた、より広い概念的な達成を表していないことがありうる。単純な場合には、こうした仕様の誤りはただのバグにすぎない。より複雑な場合には、解の検証が数学者が当初考えていたより難しかった、ということもありうる。そうした場合はすべて報告し、可能な限り検証器を修正する。

標本の偏り。検証可能性という基準が持ち込む偏りにも向き合わなければならない。これまでの注意点を別にすれば、このベンチマークでの進歩は、まさに意味のある未解決の数学の問題を解くことにほかならないはずである。しかし、AIシステムが、自動検証に向いた種類の意味のある未解決問題を解くことにだけ特に適している、と判明するかもしれない。もしそうなら、このベンチマークでの進歩は、数学の他の分野での進歩にはあまり一般化しないかもしれない。