Terminal-Bench 2.0

概要

Terminal-Benchの課題は、指示文、Docker環境、テスト用スクリプトを収めたフォルダーである。課題をやり遂げるには、モデルはシェル環境とそのプログラムの使い方を理解し、ファイルシステムや実行中のプロセスを含むコンピューターの状態も把握する必要がある。さらに、必要な手順を明示されないまま計画して実行するための、一貫性と技能も求められる。

方法論

このベンチマークで評価するモデルは、ターミナル環境と継続的にやり取りするためのエージェントツールと組み合わせて実行する。ツールには、AnthropicのClaude Code、OpenAIのCodex CLI、Terminus、Gooseなどがある。エージェントによって性能が変わりうるため、性能はモデルとエージェントの組み合わせごとに報告する。ツールの中には、モデルが使う推論の度合い（reasoning effort）を固定したり動的に調整したりするものがある。この評価の条件では、その調整を利用者や評価者が補正することも、中身を明らかにすることもできない。

リーダーボードのスコアは、問題セットの課題のうち解けたものの割合として計算し、通常は問題セット全体を何回か繰り返した平均をとる。

Epochのグラフには、各モデルについて提出されたエージェントとモデルの組み合わせの実行結果をすべて表示する。一方、リーダーボードとモデルのページには、モデルのバージョンごとに最も成績のよい組み合わせだけを載せる。

ベンチマークのコードは、Terminal-BenchのGitHubリポジトリで公開されている。データはTerminal-Bench 2.0のリーダーボードから取得している。