収録ベンチマーク

ベンチマークレビューの最初の公開にあたっては、誤りの種類と分野にわたって代表的なベンチマークの標本を作るよう努めた。 分野の知識を持つ専門家によるレビューが必要なベンチマークは、外部の専門家を雇うため、さらに時間がかかる。

今後は、次の特徴を持つレビューを優先する予定である。

• 影響：私たちが重視するタスク、または安全性に関わる能力（あるいはその両方）を評価している
• 広がり：広く引用されている、最近のシステムカードに載っている、または過小評価されている
• 多様性：現在レビュー済みのベンチマークでは手薄な能力を扱っている

多くのベンチマークは、私たちの評価基準に照らして十分に評価できるだけの情報を公開していない。 そうしたベンチマークは「情報不足」と判定する。 非公開の情報へのアクセスを認められたベンチマークについては、何を評価できたかを開示する。 情報の漏洩を避けるため、そうしたレビューには、タスク単位の分析を伴わない採点の誤りの種類など、一般的な情報だけを載せる。

利益相反があるため、Epochが作成したベンチマークはレビューしない。 これは、私たちのベンチマークに誤りがないと考えているという意味ではない¹。 将来、私たちのベンチマークの外部レビューを依頼する可能性はある。 ベンチマークのレビューに対して報酬を受け取ることは基本的に想定しておらず、報酬を受け取る場合はそのことを明記する。

レビュー済みのベンチマーク

ベンチマーク	判定	レビュー日
ExploitBench v0.1	検証済み	2026年9月12日
CritPt	情報不足	2026年9月11日
FrontierCode	情報不足	2026年9月11日
Berkeley Function Calling Leaderboard (BFCL) v4	欠陥あり	2026年9月10日
HealthBench Professional	欠陥あり	2026年9月10日
SimpleQA Verified	検証済み	2026年9月10日
PostTrainBench v1.1	検証済み	2026年9月9日
DeepSWE v1.1	欠陥あり	2026年9月7日
Terminal-Bench 4.0.0	欠陥あり	2026年9月4日
SWE-bench Verified	欠陥あり	2026年9月3日
SWE-Bench Pro	欠陥あり	2026年9月1日
Humanity's Last Exam	欠陥あり	2026年8月11日
Lech Mazur Writing	欠陥あり	2026年8月10日
TextQuests	欠陥あり	2026年8月10日
WeirdML v2	検証済み	2026年8月10日