ベンチマーク・レビュー
SWE-Bench Pro
SWE-Bench Proは、SWE-Bench Verifiedの後継として、より難しく汚染に強いベンチマークになるはずだった。しかし、SWE-Bench Proの監査では課題の30%以上が壊れていると推定されており、このベンチマークを「欠陥あり」と判定した。
方法論
SWE-Bench Proは1,865の課題からなる。731は公開、276は非公開、858は評価用に取り置かれている。課題は活発に保守されているリポジトリから集められ、専門家による長期にわたるソフトウェアエンジニアリングの作業の流れを再現することを狙っている。
公開セットについては、複数の監査が行われている。
- 2026年2月24日、Jonathan GaborがSWE-Bench Proの問題を無作為に100問監査し、83問に問題があることを見つけた。1主な誤りの種類は「要件の水増し」で、要件の節で指定された実装の細部がテストされていなかった。
- 2026年5月26日、DatacurveがLLMの助けを借りた監査を行い、24%の偽陰性と8.5%の偽陽性を見つけた。2
- 2026年7月8日、OpenAIは課題の30%が壊れていると推定する監査を公表した。3まずデータ点を分析する処理にかけ、そこで印が付いた課題を、経験豊富なソフトウェアエンジニア5人がそれぞれ独立にレビューした。誤りは主に、誤解を招くプロンプト、厳しすぎるテスト、指定が不十分なプロンプト、網羅率の低いテストの4つの区分に分かれた。
これらの結果からすると、20%を超える問題に採点上の欠陥がある可能性は非常に高い。そこで、このベンチマークを「欠陥あり」と判定する。
こうした採点上の欠陥に加えて、Poolsideは課題の環境で数多くの報酬ハッキングの振る舞いを記録している。4
謝辞
このレビューは、OpenAI、Jonathan Gabor、Datacurve、Poolsideが公表した監査に基づいている。
評価基準
1. レビュー可能性
| 水準 | 意味 | 状態 |
|---|---|---|
| 完全 | すべての課題と採点ロジックを確認でき*、各モデルに使われたハーネス（実行環境）とAPIの設定（推論の強度、トークン・時間の上限、ツールへのアクセス、システムプロンプト）がすべて開示されている | ［2へ進む］ |
| 部分的 | 課題の代表的なサンプルと採点ロジックを確認でき、ハーネスとAPIの設定がすべて開示されている | ［2へ進む］ |
| 不十分 | 確認できる課題や採点ロジックが限られている、偏っている、またはまったくない。ハーネスとAPIの設定が開示されていない | ［停止 → 情報不足（NEI）］ |
* 一般に公開されている場合と、レビュー担当者に非公開で提供されている場合のどちらでもよい。
2. 採点
これは「検証済み」と判定されるために必要な最低限の基準である。これらの項目のどれか一つでも満たさなければ、判定は「欠陥あり」となる。
| 採点 | |
|---|---|
| 例 |
|
| 「欠陥あり」とする既定の閾値 | 確認したサンプル†の20%以上に誤りがある、または採点を大規模に損なう問題がある |
| 状態 | 合格 問題あり［停止 → 欠陥あり］ 未レビュー |
| 注記 | — |
| ベンチマークの一貫性 | |
|---|---|
| 例 |
|
| 「欠陥あり」とする既定の閾値 | リーダーボードに、異なるバージョンによる比較できない結果が混在している |
| 状態 | 合格 問題あり［停止 → 欠陥あり］ 未レビュー |
| 注記 | — |
| 能力の引き出し | |
|---|---|
| 例 | モデルの能力の引き出し方が極めて制約的で、しかもその制約がベンチマークの測ろうとしているものではない：
|
| 「欠陥あり」とする既定の閾値 | その課題に対する妥当な別の設定と比べて、性能が大幅に下がっている |
| 状態 | 合格 問題あり［停止 → 欠陥あり］ 未レビュー |
| 注記 | — |
| 評価設定の偏り | |
|---|---|
| 例 |
|
| 「欠陥あり」とする既定の閾値 | 特定のモデルに有利な、無視できない差が見つかった |
| 状態 | 合格 問題あり［停止 → 欠陥あり］ 未レビュー |
| 注記 | リーダーボードには、コストの上限とターン数50の上限を設けた実行（灰色表示）と、コストの上限なし・ターン数250の上限で行った実行が混在している。 |
† 利用できる課題が50を超えるベンチマークでは、無作為に50個をサンプリングする（カテゴリがあればカテゴリで層別化する）。観測された誤り率が15〜25%の場合は、サンプルを100に増やす。利用できる課題が50以下のベンチマークでは、すべての課題を評価する。
3. 評価の質
これはすべてのベンチマークに満たしてほしい基準だが、これらの項目を省いたり満たさなかったりしても、必ずしも失格にはならない。
| 問い | 状態 | 注記 |
|---|---|---|
| 能力の引き出しと資源の十分さ：モデルに与えられた資源（推論のトークン・ターンの予算、ツールへのアクセスなど）は、モデルが上限近くの性能を出すのに十分か？ | 十分 制約的 不当に制約的 不明 未レビュー | — |
| 足場の公平性：リーダーボードはどの足場での結果を報告しているか？ | 共通の足場 モデル専用の足場と共通の足場が混在 モデル専用の足場 未レビュー | — |
| 汚染の証拠やリスクはあるか？ | 未レビュー | — |
| 人間が課題を完了できるかは評価されているか？ | すべての課題 代表的な課題のセット 実施方法が不適切（課題のセットが代表的でない、参加者の選び方が妥当でない） 未確立 未レビュー | — |
| スコアの範囲（推定できる場合） | 下限 —、上限 — 未レビュー | — |
| 統計的な十分さ：モデルあたりの実行回数（誤差棒を付けるには5回以上を推奨） | モデルあたり —回 不明 未レビュー | — |
| 構成概念妥当性 | うたっている能力を測っている うたっている能力を部分的に測っている うたっている能力を測っていない 未レビュー | — |
免責事項
これは部分的なレビューである。欠陥のあるベンチマークについて公表している閾値を超える誤りが見つかった時点で、確認を打ち切った。
公開前にベンチマークの開発者への連絡を試みた。開発者がこのレビューへの回答を書いた場合は、ここにリンクを載せる。ベンチマークの開発者の方で、回答をここに載せることを希望される場合は、回答へのリンクを添えてreviews@epoch.aiまでメールでお知らせいただきたい。