SWE-bench Verified｜Epoch AI 日本語版

SWE-bench Verifiedは、公開GitHubリポジトリから集めた現実世界のソフトウェアの課題で大規模言語モデルを評価する。コードベースと課題（issue）を与えられた言語モデルは、説明された問題を解決するパッチを生成するよう求められる。SWE-bench Verifiedは静的なベンチマークなので、現在および将来のすべてのモデルは、そのタスクで使われるコードベースで学習していると考えてよく、汚染（コンタミネーション）が生じる。OpenAIによる監査では、多くのモデルが共通して解けない問題の半数超で、機能的に正しい解答を不合格にするテストケースが見つかった。この監査から、問題の20%超に採点上の不備があると相応の確信をもって言える。「欠陥あり」の判定はこれを踏まえている。

方法論

SWE-bench Verifiedは、12個のリポジトリから集めた500件のバグ修正からなる。元のSWE-benchの2,294問から問題のある課題を取り除こうと、3人の専門家がそれぞれ独立に確認して作ったサブセットである。¹

このベンチマークの問題は、数多くの公開された監査で記録されている。

2025年6月13日、Epoch AIは以前のレビューを公開し、このベンチマークには汚染のリスクが高いことなどの問題があると指摘した。²以前のレビューでは、結果が使用するスキャフォールドに大きく左右されることも記録している。
2026年2月23日、OpenAIは監査の結果を公開した。タスクの27.6%を監査し、その59.4%に、機能的に正しい解答を不合格にする欠陥のあるテストケースがあることを見つけた（壊れているタスクは少なくとも全体の16.4%）。³そのため、このベンチマークが「採点の正確さに影響する不備のある問題が20%未満」という私たちの基準を満たす可能性は低いと考える。
OpenAIの分析ではさらに、テストしたすべてのフロンティアモデルが「学習中に少なくとも一部の問題と解答を見ている」ことが明らかになった。OpenAIは、「SWE-bench Verifiedでの向上は、もはや現実世界のソフトウェア開発能力の意味ある向上を反映していない。むしろ、学習時にモデルがこのベンチマークにどれだけ触れたかをますます反映するようになっている」と結論づけている。
RDIは、満点を達成できる報酬ハッキングの手口を特定した。⁴

謝辞

このレビューは、OpenAIとRDIが公開した監査と、Epochの以前のレビューに依拠している。

評価基準

1. レビュー可能性

水準	意味	扱い
完全	すべてのタスクと採点のロジックが確認でき*、各モデルに使ったハーネスとAPIの設定（推論の度合い、トークン数・時間の上限、ツールへのアクセス、システムプロンプト）がすべて開示されている	［2へ進む］
部分的	タスクと採点のロジックの代表的な標本が確認でき、ハーネスとAPIの設定がすべて開示されている	［2へ進む］
不十分	確認できるタスクや採点のロジックが限られている、偏っている、またはまったくなく、ハーネスとAPIの設定が開示されていない	［終了 → 情報不足］

* 一般に公開されているか、レビュー担当者に非公開で提供されているかは問わない。

2. 採点

これは「検証済み」となるのに必要な最低基準である。これらの項目のどれか一つでも満たさなければ、「欠陥あり」の判定になる。

採点
例	書かれたとおりでは正しく答えることが事実上不可能（例：タスクの指定が不十分、隠れた要件がある、ファイルやツールが欠けている）偽陰性（例：採点器が厳しすぎる、正解データが古いか誤っている、変化しうる外部の現在の状態に依存している、エージェントと無関係なサンドボックスの障害）偽陽性（例：採点器が甘い、報酬ハッキングができる環境、採点のロジックの誤りを突く、ハーネスやウェブから答えを取ってくるといった近道で、測るはずの技能を迂回できる）タスクが、うたわれている能力をまるで測っていない
「欠陥あり」とする標準の基準	確認した標本†の20%以上に誤りがある、または大規模に採点を損なう問題がある
扱い	合格指摘あり［終了 → 欠陥あり］未レビュー
備考	—

ベンチマークの一貫性
例	バージョン番号を上げずに、採点器、指示、正解データが変更された
「欠陥あり」とする標準の基準	リーダーボードに、異なる版による比較できない結果が並んでいる
扱い	合格指摘あり［終了 → 欠陥あり］未レビュー
備考	—

能力の引き出し
例	モデルの能力の引き出し方が極端に制約されており、しかもそれがベンチマークの主眼ではない。タスクの規模に比べてリソースが足りない（トークン数・ターン数・時間の上限、サンドボックスのリソース）コンテキストの管理がまずいエージェント用の環境を用意するのが自然な場面で、それがないエージェント型のベンチマークで、意図しない強制終了が多すぎる
「欠陥あり」とする標準の基準	そのタスクに対する妥当な代替の設定と比べて、性能が大幅に下がっている
扱い	合格指摘あり［終了 → 欠陥あり］未レビュー
備考	—

評価設定の偏り
例	計算資源やトークンの予算が不均等スキャフォールドの選び方が不公平（例：一部のモデルだけに最適化されている）
「欠陥あり」とする標準の基準	特定のモデルに有利な重大な偏りが見つかった
扱い	合格指摘あり［終了 → 欠陥あり］未レビュー
備考	—

† 利用できるタスクが50を超えるベンチマークでは、（カテゴリーがあればカテゴリーで層別して）50件を無作為に抽出する。観測された誤りの率が15〜25%なら、標本を100件に増やす。利用できるタスクが50以下のベンチマークでは、すべてのタスクを評価する。

3. 評価の質

これは、すべてのベンチマークに満たしてほしい基準だが、これらの項目を欠いていたり満たしていなかったりしても、ただちに失格になるわけではない。

問い	扱い	備考
能力の引き出しとリソースの十分さ：モデルに与えるリソース（推論トークン・ターンの予算、ツールへのアクセスなど）は、モデルが上限に近い性能を出すのに十分か	十分制約あり不当に制約されている不明未レビュー	—
スキャフォールドの公平性：リーダーボードはどのスキャフォールドでの結果を報告しているか	共通のスキャフォールドモデル固有のものと共通のものが混在モデル固有のスキャフォールド未レビュー	—
汚染（コンタミネーション）の証拠やリスクはあるか	2026年9月3日時点：タスクの100%が公開解答の100%が公開未レビュー	—
人間が解けるかどうかは評価されているか	すべてのタスク代表的なタスクの集合実施方法に問題あり（タスクの集合が代表的でない、参加者の集団が妥当でない）確認されていない未レビュー	—
スコアの範囲（推定できる場合）	下限 —、上限 — 未レビュー	—
統計的な十分さ：モデルあたりの実行回数（誤差範囲を示すには5回以上を推奨）	モデルあたり — 回不明未レビュー	—
構成概念妥当性	うたわれている能力を測っているうたわれている能力を部分的に測っているうたわれている能力を測っていない未レビュー	汚染のため、うたわれている能力をもはや測っていない。

免責事項

これは部分的なレビューである。欠陥のあるベンチマークについて私たちが公表している基準を超える誤りが見つかった時点で、確認を打ち切った。

公開前にベンチマークの開発者への連絡を試みた。開発者がこのレビューへの回答を書いた場合は、ここにリンクを載せる。ベンチマークの開発者の方で、回答をここに載せてほしい場合は、回答へのリンクを添えてreviews@epoch.aiまでメールでお知らせいただきたい。