ベンチマーク
ForecastBench
現実の将来の出来事についてAIの予測能力を測る、動的で継続的に更新されるベンチマーク。人間のスーパーフォーキャスターや一般の人々と直接比較できる。
各モデルの得点の表・グラフは 原文のページ（英語・操作可能） で閲覧できます。
概要
Forecasting Research Instituteが作成したForecastBenchは、AIの予測能力を測る、動的で継続的に更新されるベンチマークである。結果がまだ分かっていない出来事に確率を割り当てるようモデルに求めるので、学習データの汚染のおそれがない。また、職業的なスーパーフォーキャスターや一般の人々を含む人間のベースラインと、AIの予測を直接比較する。
方法論
結果は公開されているForecastBenchのリーダーボードから取得している。
ForecastBenchは2種類の質問を使う。予測市場（Manifold、Metaculus、Polymarketなど）から取った「市場」の質問と、データベース（ACLED、FRED、Yahoo! Financeなど）から自動生成した「データセット」の質問である。システムは毎晩動いて質問とその結果を取り込み、新しい回の質問を順次抽出する。予測は難易度で調整したブライア指数（Brier Index）で採点され、0〜100%の解釈しやすい尺度で示される。値が高いほど良い（100%は完璧、50%は情報のない当て推量に相当し、0%は最大限に外れている）。このページのグラフは既定で総合スコアを表示し、データセットと市場の個別スコアも選べる。
詳細はForecastBenchの論文と方法論の資料を参照のこと。