ベンチマーク
METR Time Horizons
ソフトウェアエンジニアリングとその関連の課題で、モデルが半分以上の確率で正しく完了できる最も長い課題の所要時間。
2026年10月1日時点のデータ。最新の得点は原文へ。
概要
対象とする課題は次のとおりである。
- RE-Bench：機械学習の研究エンジニアリングの課題のセット
- HCAST：機械学習エンジニアリングを含む、より一般的で難しいソフトウェアエンジニアリングの課題のセット
- SWAA：コンピュータのソフトウェアを操作する、より小さな課題のセット
モデルの最終的な所要時間は、成功率を人間が課題を完了するまでの時間に対してロジスティックモデルで当てはめ、モデルの成功確率が50%と予測される課題の所要時間を報告することで推定する。METRは80%のタイムホライズンも報告しているが、ここでは現在その系列を収集・更新していない。
方法論
タイムホライズンは、METR自身の分析から直接取得している。最新のリーダーボードはmetr.org/time-horizonsで見られる。
モデルのタイムホライズンを推定する方法は次のとおりである。
-
性能データを集める：HCAST、RE-Bench、SWAAのそれぞれについて、課題ごとにモデルの性能を評価する。各モデルは各課題でおよそ8回実行した。ほとんどのモデルはMETRのmodular-publicというエージェント用の足場（スキャフォールド）で評価しているが、o1とo1-previewについては足場に少し手を加えた。次に、人間のベースラインを取る実験を行い、これらの課題を人間が完了するまでの時間を得る。
-
タイムホライズンを推定する：各AIモデルについて、課題の成功確率を、その課題を人間が完了するまでの時間の対数から予測するロジスティック回帰曲線を当てはめる。モデルの50%タイムホライズンは、そのモデルについて当てはめたロジスティック曲線が成功確率50%の閾値と交わる点での、人間の課題完了時間である。この指標は、AIモデルが50%の成功率で完了できる課題を、人間の専門家が完了するのに通常かかる時間（分または時間単位）の推定値を表す。
課題のセット、人間のベースライン、エージェントの設定、曲線の当てはめの詳細については、METRの論文Measuring AI Ability to Complete Long Tasks、RE-Bench: Evaluating frontier AI R&D capabilities of language model agents against human experts、HCAST: Human-Calibrated Autonomy Software Tasksを参照してほしい。