ベンチマーク
Vending-Bench 2
AIエージェントが、シミュレーション上の丸1年にわたって一貫性を保ち、自動販売機の事業を黒字で運営できるかを測るベンチマーク。
各モデルの得点の表・グラフは 原文のページ（英語・操作可能） で閲覧できます。
概要
Andon Labsが作成したVending-Bench 2は、非常に長い期間にわたって一貫性を保ち、事業を黒字で運営するAIエージェントの能力を測る。エージェントは、シミュレーション上の自動販売機事業を丸1年にわたって自律的に運営し、在庫、発注、価格設定、仕入れ先との交渉、日々の手数料、トラブルに対処する。その文脈は数百万トークンにも及ぶ。1回きりの推論ではなく、長期にわたるエージェントとしての信頼性を対象としており、現実世界での運用から得た教訓を踏まえている。
方法論
結果は、公開されているVending-Bench 2のリーダーボードから取得している。
各モデルはシミュレーション上の丸1年を走り、代表スコアはモデルごとに5回の実行の平均をとる。初代のVending-Benchと比べ、バージョン2では、敵対的な仕入れ先、配送の遅れや失敗、客からの返金要求といった現実の厄介な事情が加わった。採点も一つの代表指標に絞られ、年末時点のエージェントの所持金（米ドル、高いほどよい）となった。Andon Labsの見積もりでは、人間の優れた戦略なら年におよそ63,000ドルに達しうる。つまり、上位のモデルでさえ、熟練した人間の成績のごく一部しか達成できていない。
詳しくは、元のVending-Benchの論文を参照されたい。