よくある質問（ベンチマーク・レビュー）

この取り組みで何を目指しているのか

注目されているベンチマークの品質を一般に伝え、ベンチマークの水準を引き上げたいと考えている。現在のところ、体系的な品質チェックは行われておらず、ベンチマークを監査すると多数の誤りが見つかることが多い。既存のレビューには貴重な情報があるが、その場限りのもので、共通の形式に従っていない。 Epochには、ベンチマークレビューの信頼できる情報源となり、産業界と学術界のベンチマーク作成者にとっての拠り所となる余地があると考えている。

主な目標は次のとおりである。

ベンチマークの品質を一般に伝える
ベンチマークの開発者が質の高いベンチマークを作る動機を高める
良いベンチマークの作り方について得られる情報を増やす

なぜこれが重要なのか

ベンチマークは、AIシステムの能力を公に評価する主な手段である。何を測っているのか、それが何を表しているのかを深く理解すれば、AIの能力についての理解も深まる。ベンチマークに誤りがあると、リーダーボードの結果に偏りが生じ、結果の誤った解釈につながりかねない。これは、AIの展開がもたらす結果や政策判断にとって重要である。

幅広いベンチマークをレビューすれば、ベンチマーク全体の状況を評価し、何をうまく測れていて何を測り漏らしているのかを理解できる。また、よくある誤りの種類についての情報を増やし、すべてのベンチマークの水準を引き上げたいとも考えている。

環境レベルの問題が報酬ハッキングを引き起こし、多数のベンチマーク、特にエージェント型のベンチマークに影響する例が増えている¹。スキャフォールド（scaffold）の仕様も、結果の大きなばらつきの原因になっている。以前の分析「ベンチマークの実施はなぜ難しいのか」では、スキャフォールドを切り替えると、GPT-5で最大11%、Kimi K2 Thinkingで最大15%の差が出ると推定した。さらに、リソースの上限やハーネスの設定などの仕様の選び方が悪かったり、仕様が明示されていなかったりすると、評価者が同じベンチマークを異なる条件で実行するおそれがあり、意味のある比較が難しくなる。

「検証済み」とはどういう意味か

「検証済み」のベンチマークは、おおむね説明どおりに解釈できる。結果に大きな影響を与えない問題が残っていることはあり、それはレビューに記載する。「検証済み」の判定を得るための最低基準は、私たちの評価基準に挙げている。

「欠陥あり」とはどういう意味か

「欠陥あり」のベンチマークには、結果の解釈に影響する大きな欠陥が少なくとも一つある。代表的な誤りと、ベンチマークが欠陥ありとみなされる基準は、評価基準に挙げている。いずれかの項目で基準を満たさなければ、「欠陥あり」の判定になる。

自分のベンチマークが「欠陥あり」と判定された。誤りを直せば「検証済み」になるのか

レビューは特定の時点のベンチマークを対象としている。したがって、レビューした版は固定されており、レビューの内容そのものに問題がない限り、その判定は変わらない。挙げた誤りに対処した新しい版を公開すれば再レビューを検討するが、それでも「検証済み」の基準を満たさないことはありうる。「欠陥あり」と判定するのに十分な誤りが見つかった時点で、レビューを打ち切って結果を公表する。ベンチマーク全体を網羅的にレビューすることはしない。そのため、最初のレビューで見つけていない誤りがほかにもある可能性がある。新しい版のベンチマークもレビューしたいと考えているが、私たちの対応能力には限りがある。

なぜ自分のベンチマークが含まれていないのか

レビュー済みのベンチマークの一覧は、常に拡大している。優先順位の付け方は「収録ベンチマーク」の節で説明している。

なぜ公表前にベンチマークを直す機会がもらえなかったのか

特に引用の多いベンチマークについては、できるだけ早く情報を一般に届けることが欠かせないと考えている。公表の少なくとも1日前には、すべての開発者に連絡して通知している。開発者が望めば、その回答を全文掲載する。

自分のベンチマークが「欠陥あり」とされた判定に同意できない。どうすればよいか

reviews@epoch.ai までメールしてほしい。