DeepResearchBench

概要

課題をこなすには、モデルとそのエージェントが、答えにたどり着くためにどのページを探せばよいか、見つけた情報をどう解釈すればよいかを分かっていなければならない。

このベンチマークには、8つの異なる種類の課題が91問含まれる。数値を見つける・導く、データセットを見つける・まとめる、参照クラスを埋める、証拠を集める、主張を検証する、ある情報の出典を見つける、といった種類である。数値を見つける区分の課題の例は、「1980年から2024年までの各年に、公開価格が5.00ドル以上のIPOは何件あったか」である。質問の各区分の例はウェブサイトで見られるが、それ以外は非公開になっている。

方法論

評価中、モデルはアーキテクチャとしてReActフレームワークを使う。これにより、モデルは自ら選んだ行動を計画・実行するエージェントとして振る舞える。課題への1回の試行で実行できる行動は50回までに制限されている。思考型モデルに許す推論努力は手動で設定しており（つまりモデルやエージェントが選ぶのではない）、その設定は論文と私たちのベンチマークハブに記載している。

モデルには、できるだけ網羅的な答えを出すよう指示している。課題のプロンプトに加え、あらかじめ用意した役に立つヒントの一覧からモデル自身が選んだものもプロンプトに含める。

このベンチマークはRetroSearchというシステムを使っている。RetroSearchは、実際のウェブページの代わりに、事前にスクレイピングしたインターネットのスナップショットのウェブページをLLMエージェントに返す。これにより、時間がたってもモデルを一貫した環境で評価できる。

各モデルに与えるスコアは0から1の間で、課題の区分ごとに異なる採点方法から算出される。各課題に使う方法はウェブサイトで見られる。方法には、適合率（陽性と答えたもの全体に占める、正しい陽性の答えの割合）、再現率（真の陽性のうち、陽性と答えられたものの割合）、F1（適合率と再現率の調和平均）、二値のスコア（正解なら1点、それ以外は0点）がある。

データは、FutureSearchのDeepResearchBenchのリーダーボードから取得している。