ベンチマーク
BTF-3
原文：BTF-3
「過去予測（pastcasting）」のベンチマーク。予測エージェントが、固定したウェブのスナップショットを使って結果が確定済みの問いを調べ、ブライアー尺度で採点される。
各モデルの得点の表・グラフは 原文のページ（英語・操作可能） で閲覧できます。
概要
FutureSearchが作成したBTF-3（Bench to the Future 3）は、確率的な予測を行うエージェントを「過去予測（pastcasting）」で評価する。エージェントは、結果がすでに確定した現実の問い1,907問（二値1,515問、数値392問）を予測する。調べものにはインターネットを固定した時点のスナップショットを使うため、答えを検索して知ることはできない。問いの結果が分かっているので、出来事の決着を待たずに、予測をすぐに正確に採点できる。
方法論
結果は、公開されているFutureSearchの評価ページから取得している。グラフには、ブライアー尺度による統合スコアを示す。これは二値問題のブライアースコアと数値問題のランク確率スコアの加重平均で、低いほど良く、0が完璧な予測である。二値と数値それぞれのサブスコアと95%信頼区間は、データのエクスポートに残してある。
エージェントは予測の前に、FutureSearchが固定したオフラインのウェブコーパスを使って各問いを調べる。同じモデルが、FutureSearch自身の予測エージェントで動く場合と、提供元のエージェントSDKで自律的に動く場合の両方で登場することがあり、これらはハーネスで区別した別の項目として残している。FutureSearchの「SOTA」の行は、単一のモデルではなく同社のエージェントによる複数の実行を組み合わせたアンサンブルなので、除外している。