SimpleQA Verified

SimpleQA Verifiedは、モデルがツールを使わずにあまり知られていない事実を思い出せるかをうまく測れている。1,000問は、OpenAIの先行研究であるSimpleQAから、あいまいさがなく、2025年当時のモデルにとって難しいものになるよう絞り込まれた。各問題には、人間が用意した答えと、裏付けとなる少なくとも2つのURLが付いている。

このベンチマークはパラメトリックな事実知識を測るとしているが、¹回答の棄権は不正解とされるため、代表値にはモデルが当て推量をする積極性も反映される。問題と答えはすべて、SimpleQAの一部として2024年から公開されているので、このベンチマークは汚染に強いとはいえず、Epochはすでに汚染の疑いが強いモデルを1つ指摘している。レビュー時点で、フロンティアモデルは問題の約4分の3に正しく答えている。

話題で層別化して無作為に抽出した50問のうち、スコアに影響する欠陥があったのは5問（10%）だった。その5問のうち4問は、技術的に正しい答えのすべてを正解表が網羅していないもので、1問は正解表がはっきり間違っているものだった。この誤り率は、ベンチマークを「欠陥あり」とする閾値の20%を大きく下回るが、それでも知っておく価値がある。

解釈

SimpleQA Verifiedは、1問につき1つのあまり知られていない事実を思い出せるかを試す。回答はツールなしの1ターンで行い、LLMの採点器が、人間が用意した正解表と照らし合わせてCORRECT（正解）、INCORRECT（不正解）、NOT_ATTEMPTED（回答なし）のいずれかに判定する。Epochのハブが報告するのは正しく答えた問題の割合で、NOT_ATTEMPTEDは不正解として数える。Epochは採点器として公式の採点プロンプトを与えたGPT-5.6 Terraを使い、当て推量にペナルティはないという指示を付け加えている。この指示はGenerality Labsと共同で作成し、検証したものである。高いスコアを取るモデルは、検索などの追加のツールなしで、10の話題の分野にわたる人物、場所、日付、数値についてのロングテールの事実を引き出せるはずである。関連して、データセットカードには、ツールを使えばこのベンチマークは簡単だと書かれている。

結果をゆがめうる要因

• 棄権の扱い：正解率の指標では「わかりません」は間違った答えと同じ点になるので、当て推量をする積極性によってスコアは数ポイント動く。Epochが2026年8月に質問だけのプロンプトで行った実行では、Claude Fable 5（xhigh）は問題の11%で回答を断り、正解率は69.2%（回答したうちでは77.8%）だった。一方、Gemini 3.1 Pro（high）は2%で回答を断り、正解率は75.2%（回答したうちでは76.7%）だった。
• 慣例に左右される答え：いくつかの問題では、正解が不明確な慣例に頼っている（たとえば、事業の立ち上げのどの段階を「設置」とみなすか）。事実を知っていても「間違った」慣例に従ったモデルは、INCORRECTと判定される。このため、知識の豊富なモデルでもスコアの上限は90%近くになると見積もっている（「課題の分析」を参照）。
• LLMによる採点：採点器自体もモデルであり、その誤り率は測っていない。OpenAIの元のSimpleQAの自動採点器は、人間による1,000件の回答で15件の偽陰性を出した。²ここではSimpleQA Verifiedの改訂版の採点プロンプトを、より強力な採点モデル（o3-miniに対してGPT-5.6 Terra）とともに使っているので、偽陰性率は同程度かそれ以下になると見込んでいる。

課題の分析

1,000問すべての問題と答えは、話題、答えの種類のラベル、出典のURLとともに、Hugging Faceで公開されている。問題は、モリブデンの第3イオン化エネルギー、キノコ帝国の最初のEPの名前、2021年のスケートアメリカでBradie Tennellの代わりに出場したのは誰か、といったあまり知られていない事実を思い出すことを求める。データセット全体を調べ、無作為に抽出した50問を、独自に検索した情報源と照らし合わせて監査した。

問題は、OpenAIのSimpleQAの4,326問を絞り込んだ部分集合である。SimpleQAの問題は人間のトレーナーが作成して答え、別のトレーナーが独立に答え直したものだった。Googleの処理では、出典のURLが重なる問題を削除し（残り3,095問）、埋め込みとTF-IDFの類似度でほぼ重複する問題を削除し（2,664問）、出典がクロールを禁止している問題を削除した（1,855問）。続いて、話題と答えの種類のバランスを取り直し（1,218問）、出典どうしが食い違う問題を除き（数値には5%の許容幅を設けた）（1,073問）、GPT-4o、Gemini 2.0 Flash、Claude 3.7 Sonnetのすべてが間違えた問題を優先して難しさで選んだ（1,000問）。数値の答えには許容範囲が明示されている。小さな個数は完全一致、中程度の量は約1%、大きな量は5%である。

• 話題：政治176、科学技術160、芸術145、スポーツ117、地理111、音楽102、その他102、歴史52、テレビ番組20、ビデオゲーム15
• 答えの種類：その他249、日付222、人物198、数値185、場所146

問題の監査

標準の手順に従い、話題ごとの問題数に比例して層別化した50問を無作為に抽出した。³内訳は、政治9、科学技術8、芸術7、スポーツ6、地理5、音楽5、その他5、歴史3、テレビ番組1、ビデオゲーム1である。各問題について、Fable 5.1にWeb検索をさせ、ベンチマークが示す出典とは独立に正解を確かめさせた。10のClaude Fable 5.1の調査エージェントが、1問につき少なくとも3回のWeb検索を行い、少なくとも2つの信頼できるページを読んだ。エージェントの根拠は人手で確認し、正解表が間違っているという主張は特に入念に調べた。各問題は、OK、解答不能（書かれたとおりでは答えが定まらない）、偽陰性（妥当で、正しい形式の正しい答えがINCORRECTと判定されうる）、偽陽性（間違った答えがCORRECTと判定されうる）のいずれかに分類した。

50問のうち5問（10%）に欠陥があった。そのうち4問は偽陰性（正しい答えが不正解とされうる問題）で、1問はおそらく解答不能である。

問題（original_index）	話題	誤りの種類	注記
2928. デンマークの数学者・天文学者Niels Erik Norlundが、デンマークとグリーンランドに地震観測所を設置したのは何年か？ 正解表：1925	科学技術	偽陰性	参照解の1925年は、資金が確保され、機器が発注された年である。コペンハーゲンの観測所は1926年末に設置され、1927年2月に観測を始めた。41926年と1927年はINCORRECTと判定されるので、設置の日付や観測開始の日付を観測所が「設置された」年とみなすモデルはすべて不利になる。
4159. ワシントンD.C.を訪問中に、Golda Meirが「安全保障対主権」に基づくHenry Kissingerの和平案に同意したのは何年何月か？ 正解表：1973年2月	政治	偽陰性	訪問は1973年2月26日から3月8日まで続いた。参照解は、2月28日の非公式の会談についてのRabinの回顧録に基づいているが、国務省の公式記録では、Meirが「私たちは安全保障を求めている。主権にはこだわっていない」と述べて提案を受け入れたのは1973年3月1日となっており、学術的な記述もこの日付を使っている。5あいにく「1973年3月」はINCORRECTと判定される。
659. テレビシリーズ『In Living Color』で振付師を務めたほかに、Rosie Perezはこの番組でどんな仕事をしたか？ 正解表：segment producer（コーナーのプロデューサー）	テレビ番組	解答不能、偽陰性	参照解は、1999年のRoger Ebertによるインタビューの一文にさかのぼれる。しかし、Perezの役割は「segment producer」だけではなく、正式なクレジットではダンスのコーナーのディレクターとタレント・コーディネーターの両方として記載されている。6このベンチマークでは、「segment director」と「talent coordinator」が誤ってINCORRECTと判定される。
765. Köln Frankfurter Straße駅が開業したのは何年何月何日か？ 正解表：2004年6月13日	地理	偽陰性	この駅は、2004年6月12日に開通式が行われた空港への環状線上にあり、この駅についてのドイツ語版Wikipediaの記事はその日付を開業日としている。2004年6月13日は、定期運行が始まった日にすぎない。7しかし「2004年6月12日」はINCORRECTと判定される。開通式を開業とみなすなら、これは不適切な採点である。
1149. Saint-Jean-sur-RichelieuのJacques-Cartier通りとSaint-Jacques通りの角にある、1909年に完成した旧郵便局を設計した建築家は誰か？ 正解表：J. E. H. Benoît	芸術	偽陰性	ケベック州の文化遺産登録簿と『Biographical Dictionary of Architects in Canada』はどちらも、正しい建築家をJoseph-E.-Alexandre（J. E. A.）Benoîtとしている。8しかし正解表には誤って「J. E. H. Benoît」という答えが載っており、その出典の一つには引用元が示されていない（これに対し、この建物をJ. E. A. Benoîtが手がけたことは、ほかの情報源によって十分に裏付けられている）。

抽出したほかの45問の正解表は正しかった。それらのoriginal_indexは次のとおりである：8、79、141、356、386、394、477、502、815、1132、1367、1513、1542、1742、1744、1847、1851、1952、1976、2010、2079 2146、2277、2374、2447、2622、2943、2945、3021、3030、3162、3171、3271、3304、3306、3391、3443、3495、3503、3531、3547、3626、3737、4188、4283。

能力の引き出しと足場

• 引き出しの設定：1ターンの生成で、質問のほかにはシステムプロンプトもツールもない。Epochは各モデルを高または最大の推論設定で1回ずつ実行し、GPT-5.6 Terra（推論の強度はmedium）で、同じプロンプトと構造化されたツール呼び出しの出力を使って採点し、正解率を報告している。2026年8月27日以降、Epochは回答の棄権を防ぐための指示を付け加えている。この指示は、12のモデルで試した9つの候補の文言から選んだ。⁹
• 足場の違い：なし。すべてのモデルが同じプロンプトと採点器で評価される。唯一の違いは、Epochによる棄権を防ぐための指示である。

限界

1,000問すべての問題と答えは、2024年10月のSimpleQAの公開以来ずっと公開されており、非公開の分割もないので、モデルが正解表を記憶しているかどうかを見分けるのは難しい。Epochはすでに1件で汚染を疑っている。Qwen3-Max-Instructは当時の最高スコアである67%を出したが、似た設計の非公開の事実性ベンチマークであるAA-Omniscienceでは、順位がはるかに低かった。

ベンチマークの作成時の最後の選別では、GPT-4o、Gemini 2.0 Flash、Claude 3.7 Sonnetのすべてが間違えた問題だけを残した。その結果、ベンチマークはこの3つのモデルの学習コーパスになかった事実に偏っており、おそらくそれらのモデル（および似たモデル）のスコアが人為的に押し下げられている。ただし、この問題の影響の大きさは定量化していない。いずれにせよ、これらのモデルはもはやフロンティアに近くないので、現在では大きな問題とは考えていない。

Epochのスコアは指標として正解率を使っているのに対し、Googleの論文は質問だけのプロンプトでのF1を報告している¹⁰（前者は棄権を罰し、後者は棄権に報いる）。モデルの開発者など、このベンチマークを実行するほかの人々は、正解率を報告する傾向があり、新しい棄権防止の指示は使っていない。

2026年3月9日に、バージョン番号を上げずに1つの問題の文言が変更された。その変更の影響は最大0.1ポイントだが、データセットの公開ミラーの中には、その問題の文言が一致しないものがある。

評価基準

1. レビュー可能性

水準	意味	状態
完全	すべての課題と採点ロジックを確認でき*、各モデルに使われたハーネス（実行環境）とAPIの設定（推論の強度、トークン・時間の上限、ツールへのアクセス、システムプロンプト）がすべて開示されている	［2へ進む］
部分的	課題の代表的なサンプルと採点ロジックを確認でき、ハーネスとAPIの設定がすべて開示されている	［2へ進む］
不十分	確認できる課題や採点ロジックが限られている、偏っている、またはまったくない。ハーネスとAPIの設定が開示されていない	［停止 → 情報不足（NEI）］

* 一般に公開されている場合と、レビュー担当者に非公開で提供されている場合のどちらでもよい。

2. 採点

これは「検証済み」と判定されるために必要な最低限の基準である。これらの項目のどれか一つでも満たさなければ、判定は「欠陥あり」となる。

採点
例	書かれたとおりでは、正しく答えることが事実上不可能（例：課題の指定が不十分、隠れた要件がある、ファイルやツールが欠けている） 偽陰性（例：採点が厳しすぎる、正解データが古いか誤っている、時間とともに変わりうる外部の現在の状態に依存している、エージェントとは無関係にサンドボックスが故障する） 偽陽性（例：採点が甘い、報酬ハッキングができる環境である、採点ロジックの誤りを突く、ハーネスやWebから答えを取ってくるといった近道で、測るとされている能力を迂回できる） 課題が、うたっている能力をまったく測れていない
「欠陥あり」とする既定の閾値	確認したサンプル†の20%以上に誤りがある、または採点を大規模に損なう問題がある
状態	合格 問題あり［停止 → 欠陥あり］ 未レビュー
注記	抽出した50問のうち5問（10%）に欠陥があり、すべて偽陰性（あいまいな慣例によるものが4問、名前の誤りが1問）。偽陽性は見つからなかった。

ベンチマークの一貫性
例	バージョン番号を上げずに、採点器、指示、正解データが変更された
「欠陥あり」とする既定の閾値	リーダーボードに、異なるバージョンによる比較できない結果が混在している
状態	合格 問題あり［停止 → 欠陥あり］ 未レビュー
注記	2026年3月9日に、バージョン番号を上げずに1問の文言が変更された。影響は0.1ポイントにとどまる。

能力の引き出し
例	モデルの能力の引き出し方が極めて制約的で、しかもその制約がベンチマークの測ろうとしているものではない： 課題の規模に比べて資源が足りない（トークン・ターン・時間の上限、サンドボックスの資源） コンテキストの管理がまずい エージェント型の環境を用意するのが自然な場面で、それがない エージェント型のベンチマークで、モデルの意思によらない打ち切りが多すぎる
「欠陥あり」とする既定の閾値	その課題に対する妥当な別の設定と比べて、性能が大幅に下がっている
状態	合格 問題あり［停止 → 欠陥あり］ 未レビュー
注記	設計上、1ターンでツールなし。重要な選択は棄権の扱い（指標または指示）だけである。

評価設定の偏り
例	計算資源やトークンの予算が不均等 足場（スキャフォールド）の選び方が不公平（例：一部のモデルだけに最適化されている）
「欠陥あり」とする既定の閾値	特定のモデルに有利な、無視できない差が見つかった
状態	合格 問題あり［停止 → 欠陥あり］ 未レビュー
注記	すべてのモデルで同じプロンプトと採点器を使う。

† 利用できる課題が50を超えるベンチマークでは、無作為に50個をサンプリングする（カテゴリがあればカテゴリで層別化する）。観測された誤り率が15〜25%の場合は、サンプルを100に増やす。利用できる課題が50以下のベンチマークでは、すべての課題を評価する。

3. 評価の質

これはすべてのベンチマークに満たしてほしい基準だが、これらの項目を省いたり満たさなかったりしても、必ずしも失格にはならない。

問い	状態	注記
能力の引き出しと資源の十分さ：モデルに与えられた資源（推論のトークン・ターンの予算、ツールへのアクセスなど）は、モデルが上限近くの性能を出すのに十分か？	十分 制約的 不当に制約的 不明 未レビュー	1ターンでツールなしのベンチマークとして設計されているので、制約的ではあるが、不当に制約的ではない。
足場の公平性：リーダーボードはどの足場での結果を報告しているか？	共通の足場 モデル専用の足場と共通の足場が混在 モデル専用の足場 未レビュー	「能力の引き出しと足場」を参照。
汚染の証拠やリスクはあるか？	2026年9月10日時点： 課題の100%が公開 解答の100%が公開 未レビュー	疑わしい例が1件（Qwen3-Max-Instruct）。「限界」を参照。
人間が課題を完了できるかは評価されているか？	すべての課題 代表的な課題のセット 実施方法が不適切（課題のセットが代表的でない、参加者の選び方が妥当でない） 未確立 未レビュー	正解表はもともと人間が検証したものだが、人間の受験者によるベースラインはない。
スコアの範囲（推定できる場合）	下限 0%、上限 90〜100% 未レビュー	—
統計的な十分さ：モデルあたりの実行回数（誤差棒を付けるには5回以上を推奨）	モデルあたり1回 不明 未レビュー	参考までに、1,000問あれば、正解率75%での標準誤差は約1.4ポイントになる。これで十分と思われる。
構成概念妥当性	うたっている能力を測っている うたっている能力を部分的に測っている うたっている能力を測っていない 未レビュー	「解釈」を参照。

免責事項

公開前にベンチマークの開発者への連絡を試みた。開発者がこのレビューへの回答を書いた場合は、ここにリンクを載せる。ベンチマークの開発者の方で、回答をここに載せることを希望される場合は、回答へのリンクを添えてreviews@epoch.aiまでメールでお知らせいただきたい。