ベンチマーク評価について

Epoch AIのベンチマーク評価は、特に有益なAIベンチマークの多くの結果を、一貫性のある検索可能な一つの場所に集めている。私たち自身が実施したものも、信頼できる外部の情報源が報告したものも含む。

作った理由

AIの能力は急速に進歩しているが、結果はあちこちに散らばり、比較しにくいことがある。私たちは、多様で有益かつ難しいベンチマークを追跡し、研究者、実務家、政策立案者が、最高水準がどこにあり、それがどう変わっているかを把握できるようにしている。

方法論の要点

私たちの内部評価はInspectで動いており、どのモデルでも一貫した、よく文書化された設定で実行している。外部の結果は、公式のリーダーボードか一次情報源から取得している。詳細（プロンプト、温度、実装）については、下のよくある質問を参照のこと。

よくある質問

評価するベンチマークはどう選んだのか

私たち自身が評価するベンチマークについては、まずGPQA DiamondとMATH Level 5から始めた。実行しやすく、まだ飽和しておらず、研究者や実務家がモデルの評価によく使っていたからである。次に、Mock AIME 2024-2025を加えた。現在飽和に近づいているMATH Level 5より難しい数学問題のベンチマークだからである。さらに、極めて難しい数学問題でモデルを評価するFrontierMathと、現実的なGitHubのissueを解決するモデルの能力を測るSWE-bench Verifiedも加えた。今後の改訂では、SWE-LancerやSimpleQAなど、ほかの難しいベンチマークも加える予定である。

外部で実施されるベンチマークについては、経済的に価値のある現実世界の課題を最もよく捉え、厳密に評価され、実務家や研究者に広く参照されていて、私たちが内部で実行するには費用がかかりすぎるものを優先している。

最優先しているのは、AIの最高水準の性能を追跡することである。そのため、主要なAIラボによる代表的なモデルのリリースを優先している。

評価するモデルはどう選んだのか

重みをダウンロードできるモデル、米国以外の国のモデル、学習計算量の推定値があるモデルについても、それぞれ最も優れたものに関心がある。これにより、モデルの利用可能性、開発国、学習計算量によって性能がどう変わるかを調べられる。

各モデルについては、ベースモデルではなくチャット版／指示追従（instruct）版だけを対象にしている（モデルの識別子を参照）。たとえばLlama 3.1については、ベースモデルのLlama 3.1 405BではなくLlama 3.1 405B Instructの結果を得た。

Epoch AIが実施するベンチマークについては、私たち自身で評価を実行できるモデルの結果だけを報告している。そのため、PaLMやGopherのように内部でのみ運用されているモデルのデータはない。

内部評価はどう実装し、実行しているのか

評価にはInspectフレームワークを使っている。GPQA DiamondとMATH Level 5ではInspect Evalsを基に少し手を加えたものを使い、Mock AIME 2024-2025とFrontierMathでは独自のInspect実装を書いた。GPQA Diamond、MATH Level 5、Mock AIME 2024-2025、FrontierMath、SWE-bench Verifiedの課題定義を公開している。これらの課題定義は、評価の実行に使ったコードと極めて近い。今後は、完全に監査できるよう、各ベンチマークの実行を正確なgitのリビジョンに固定する予定である。

評価するのはチャット版／指示追従版のモデルである（ベースモデルではない）。各モデルのAPIの既定の温度を使い、GPQA Diamond、MATH Level 5、Mock AIME 2024–2025では例示なし（ゼロショット）の思考の連鎖プロンプトを使い、システムプロンプトはすべてのモデルで空にしている。OpenAIのモデルには現在Chat Completions APIを使っている。

各問題にモデルがどう答えたかは見られるのか

見られる。Epoch AIが実施するベンチマークについては、「log viewer」列のリンクをクリックすると、モデルの出力を見られる。

実行ごとにログビューア（Inspectライブラリのもの）を置いている。LLMとのやりとりのすべての詳細に加え、各回答がどう採点されたか、トークン数など、さまざまな情報を見られる。

たとえば、GPQA Diamondでのgpt-4-0613の結果はこちらから見られる。

LLMの学習コーパスに誤って漏れ出すリスクを抑えるため、ボットはログビューアにアクセスできないようにしてある。そのため、アクセスするにはCAPTCHAを解く必要がある。

MATH Level 5については、著作権に関する協議が続いているため、現在ログビューアを利用できない。FrontierMathについては、ログビューアで見られるのは、frontiermath-2025-02-28-publicにある公開の10問に対するモデルの推論過程だけである。

データはどのくらい正確なのか

Epoch AIが実施するベンチマークについては、方法論で説明した設定を使って私たち自身が評価を実行したので、評価結果は正確だと確信している。

ただし、これらの結果の解釈には注意が必要である。

ベンチマークの結果には、汚染や漏洩の問題がありうる。モデルが学習中に、似た問題や、ベンチマークの問題そのものに触れていた可能性があり、そうであれば性能が人為的に水増しされうる。MATH Level 5の結果を評価するときは、この点を特に考慮する必要がある。多くのモデルが、このベンチマークと重なりうる数学の内容でファインチューニングされているからである。

さらに、プロンプトや評価の設定のわずかな変更で、結果に大きな違いが出ることもある。したがって、私たちのデータは、私たち自身が定めた特定の評価条件でのモデルの性能を正確に反映しているが、ほかの文脈や用途に常に一般化できるとは限らない。

外部で実施されるベンチマークについては、私たち自身が評価を実行していないので、結果と方法論をそれほど詳しく把握していない。ただし、可能な場合は、ベンチマークの作成者自身が管理する公式のリーダーボードからデータを直接取得しており、提出された結果の正確さの検証は作成者に任せている。各データ点の出所は、「Source」列と「Source link」列に記している。

スコアがほかで報告されたものと違うことがあるのはなぜか

私たちの評価で、ほかで報告されたものとは異なるスコアが出ることがある。たとえば、2024-10-22にリリースされた新しいClaude 3.5 Sonnetは、GPQA Diamondで65%の正答率をうたっている。これに対し、私たちが16回実行して得た平均スコアは0.55 ± 0.03だった。

スコアの違いは、評価の設定の違いによるものだと考えている。しかし、ベンチマークを実施する側は、どのプロンプトと温度を使ったかを報告しないことが多く、そのため結果の食い違いの原因を正確に突き止めるのは難しい。

エラーバーは何を表しているのか

Epoch AIが実施するベンチマークについては、ほとんどのモデルを各ベンチマークで複数回実行している（ほとんどのモデルで、GPQA DiamondとMock AIME 2024-2025では16回、MATH Level 5では8回）。メインのグラフでは、この論文で説明されている方法論に従い、モデルとベンチマークごとに、「真の」平均評価スコアを中心とするプラスマイナス1標準誤差の信頼区間を示している。

評価コードは見られるのか

Epoch AIが実施するベンチマークについては、GPQA Diamond、MATH Level 5、Mock AIME 2024-2025、FrontierMath、SWE-Bench Verifiedで使ったInspectの課題定義を見られる。これらは、評価の実行に使ったコードと同じか、極めて近い。今後は、各ベンチマークの実行に使った正確なgitのリビジョンを示し、すべての実行を完全に監査できるようにする予定である。

外部で実施されるベンチマークの多く（たとえばAiderのpolyglotベンチマーク）でも評価コードが公開されており、その場合は方法論の節でリンクしている。

ランダムなベースラインを下回るモデルがあるのはなぜか

GPQA Diamondでは、正答率が25%未満のモデルがある。16回の実行での平均正答率は、Yi-34B-Chatが15%、Mistral-7B-Instruct-v0.3が15%、open-mistral-7bが13%である。つまり、これらのモデルはランダムに当て推量するベースラインを下回っている。

これは、出力の形式が不適切なためである。モデルの出力が求められた形式に従っていない場合（たとえばGPQA Diamondで、答えが「Answer: {LETTER}」の形で示されていない場合）、そのモデルはその問題で得点できない。この厳格な採点のため、答えの形式を誤ったモデルは、ランダムに答えを当て推量するより正答率が低くなることがありうる。

データのライセンスはどうなっているのか

Epoch AIのデータは、クリエイティブ・コモンズ表示ライセンスのもとで出典と著者を明記すれば、自由に利用、配布、複製できる。完全な引用情報はこちらにある。

ベンチマークの問題と答えは、それぞれの作成者に帰属する。

このハブには外部のプロジェクトから取得したデータも含まれており、それらには元のライセンスが引き続き適用される。利用者は、使う個々のデータのライセンス条件を守る責任があり、示されているとおりに元の出典を明記すべきである。

このデータにはどうアクセスできるのか

データは、CSV形式でダウンロードすることも、私たちの対話型ツールで探索することも、表形式で直接見ることもできる。表形式では、「Epoch AI internal runs」のベースに私たち自身が評価したベンチマークのデータが、「External runs」のベースに外部の情報源から集めたデータが入っている。

また、Epoch AIのPythonクライアントライブラリ（pip install epochai）を使って、Airtable API経由でデータにアクセスすることもできる。CSVのダウンロードとは違い、この方法ではデータ項目どうしの関係が完全に保たれる。クライアントライブラリには、よくある作業のためのスクリプト例が付いている。たとえば、あるベンチマークで最も性能の高いモデルを時系列で追跡するものである。

Epoch AIのベンチマーク評価の資金はどこから出ているのか

Epoch AIのベンチマーク評価は、英国AI安全保障研究所（UK AI Security Institute）の助成金によって支えられている。この資金により、難しいベンチマークで主要なAIモデルを厳密かつ独立に評価し、その結果を研究者と一般の人々に無償で公開できている。

データに関する質問や意見は誰に連絡すればよいか

ご意見はbenchmarks@epoch.aiまでお寄せいただきたい。

ライセンス

ベンチマークの問題と答えは、それぞれの作成者に帰属する。