SimpleQA Verified

概要

SimpleQA Verifiedは、1,000問からなる、事実を短く答える質問応答のベンチマークである。下の表は、ベンチマークの問題が扱う話題を示している。

話題	割合
政治	18%
科学技術	16%
芸術	15%
スポーツ	12%
地理	11%
音楽	10%
歴史	5%
その他	14%

下の表は、ベンチマークの問題の答えの種類を示している。

答えの種類	割合
日付	22%
人物	20%
数値	19%
場所	15%
その他	25%

このベンチマークは、OpenAIの先行研究をもとにGoogleが作成した。問題はもともと人間の作業者から集めたものである。当初はGPT-4にとって難しい問題が選ばれ、その後、GPT-4o、Gemini 2.0 Flash、Claude 3.7 Sonnetにとって難しいものになるよう部分的に絞り込まれた。Googleが主に手を加えたのは、よく似た問題の削除、話題の分野のバランス調整、正解表の精度の改善である。

すべての問題をAIの答えと採点の詳細とあわせて見るには、実行のログビューアを開いてほしい（たとえばGPT-5についてはこちらをクリック）。ログビューアはボットのアクセスから保護されている。

方法論

問題は選択肢を付けずにモデルに出題し、そのあとに回答の棄権を防ぐための短いプロンプトを続ける。このプロンプトはGenerality Labsと共同で作成し、検証した。

This is a guessing game, not a test. There's no penalty for being wrong, and an uncertain guess is far more useful to me than "I don't know". Give your single best guess.

モデルの答えには、たいてい付け加えた説明が多かれ少なかれ含まれる。採点役のモデルが、与えられた答えに正しい情報が含まれているかを判定する。採点役のモデルには、ベンチマークとともにGoogleが作成した採点用のプロンプトを与えている。

採点役のモデルの出力は、正解、不正解、「回答なし」の3値である。最後の区分は、モデルが間違った答えを出す場合と、答えを思いつけないと述べる場合とを区別するためのもので、後者のほうが望ましい。私たちが報告するのは、正しく答えた問題の単純な割合である。これはGoogleの方法とは異なる。Googleの方法では、全体での正解（正しく答えた問題の割合）と、回答した中での正解（回答した問題のうち正しく答えた問題の数）の調和平均（F1スコア）を単一のスコアとして計算する。私たちは解釈しやすさを重視して、単純な指標を採っている。

Googleは公式のリーダーボードをこちらで運営しており、私たちは基本的にその方法に合わせるようにしている。このベンチマークを自分たちで実行することにしたのは、どのモデルで実行するかを自分たちで決められるようにするためで、たとえばECIの計算に使えるスコアを増やしたいといった事情がある。

実装に使ったコードはこちらにある。

特定のモデルの評価についての注記

Qwen3-Max-Instruct

Qwen3-Max-Instructは、このデータセットで汚染されている（学習データに問題が混入している）疑いがある。詳しくはこちらを参照。

変更履歴

2026年8月27日　Generality Labsの勧めにより、上の「方法論」の節に示した、回答の棄権を防ぐための指示を付け加えるようにし、この指示なしで測定したスコアは使わないことにした。文言は、12のモデルについて、9つの候補の指示と、質問だけを出す場合とを1,000問すべてで評価して選んだ。

それまでは、回答を断る割合がモデルによって大きく異なっていた。質問だけを出した場合、Claude Haiku 4.5は1,000問のうち82%、Claude Sonnet 4.5は64%で回答を断ったのに対し、Gemini 3.1 Proは2%だった。再評価したモデル全体で、回答を断る割合は平均で問題の15%から1%未満に下がった。