FrontierMathベンチマークの作成と利用についての説明

FrontierMathは、フロンティアAIモデルの数学的な能力を評価するために私たちが作成したベンチマークである。私たちは、こうしたシステムの限界を意味のある形で試せる、質の高い難しい数学の問題が必要だと考えた。AIコミュニティと一般の人々がAIの能力を正確に理解し測定できるよう支援すること、それが今も私たちの中心的な使命である。

この規模で質の高い評価を構築するには、多くの資源が必要になる。何社かの資金提供の候補に打診した後、私たちはOpenAIと提携した。OpenAIは、ベンチマークの開発に必要な資金と技術的な専門知識の両方を提供した。¹産業界のスポンサーと協力すれば、ベンチマークがAI分野に与える影響も大きくなる。

しかし、FrontierMathとOpenAIの関係について十分に明確な説明をしてこなかったことは認識しており、そのために貢献者、研究者、一般の人々の間で疑問や懸念が生じた。これに応えるため、事実を以下に示す。

• OpenAIはEpoch AIに、FrontierMathベンチマークの中核をなす、AI評価用の高度な数学の問題300問の作成を委託した。委託業務では一般的なことだが、OpenAIはこれらの問題の所有権を保持し、非公開検証用セットを除いて、問題と解答を利用できる。

• Epoch AIは、OpenAIが委託したFrontierMathの問題セットを使って、どのモデルについても自由に評価を行い、公表できる。ただし、OpenAIの書面による許可なしに、問題と解答をほかの当事者と共有することはできない。

• 私たちは、OpenAIが問題文だけを受け取り、解答は受け取らない50問のセットを最終的に仕上げているところである。これにより、どのAI開発者も解答を見られない問題で、OpenAIやほかのAIモデルを独立に試験できる。OpenAIは委託元としてこれらの問題も所有するが、解答は利用できない。

• 契約上、この作業がAI企業の資金提供によるものだと貢献者に開示することは妨げられていなかった。多くの貢献者はこうした詳細を知らなかった。貢献者とのやりとりは、より体系的で透明であるべきだった。

• 契約に従い、OpenAIの関与を公に開示する前にはOpenAIの許可が必要だった。私たちは2024年11月のベンチマーク発表に先立ってこの許可を求めた。o3の発表に先立ってOpenAIから許可を得て、論文を更新し、提携を公表した。その時点では、OpenAIとのデータの利用と所有に関する取り決めを明らかにしなかった。今、それを明らかにしている。

OpenAIはさらに、FrontierMathを拡張してより難度の高い数学の問題を加える作業をEpoch AIに委託している。この作業と今後の作業では、開示の方法を改善し、一般の人々と今後のすべての貢献者が、産業界からの資金提供やデータの利用に関する取り決めについて、最初から明確な情報を得られるようにする。また、貢献した数学者たちに個別に連絡を取り、その疑問や懸念に応えている。

今後は、すべての貢献者が参加する前に産業界からの資金提供やデータの利用に関する取り決めについての情報を得られるようにするとともに、ベンチマークのスポンサーやデータの利用に関する取り決めを自ら進んで公表していく。