APEX-Agents

概要

APEX-Agentsは、専門サービス業で、長期にわたり複数のアプリケーションをまたぐ業務をAIエージェントが遂行できるかを評価するために、Mercorが作成した。このベンチマークには480の課題（投資銀行、経営コンサルティング、企業法務で各160）が含まれ、33の模擬職場環境、つまり「ワールド」の中に置かれている。各ワールドには平均で160を超えるファイルがある。ワールドと課題は、一流企業で5〜10年の経験を持つ業界の専門家が作成し、各ワールドは1週間のコンサルティング案件のような現実的なプロジェクトの筋書きに沿って構築されている。エージェントは、人間の専門家が使うのと同じソフトウェア（文書、スプレッドシート、プレゼンテーション、PDF、メール、チャット、カレンダー、ファイルシステム、コード実行）を使って課題をこなす。再現性のため、ウェブ検索は無効にしてある。

評価はルーブリック（採点基準表）に基づく。各課題には、専門家が書いた1〜10個（平均で約4個）の合否判定の基準からなるルーブリックがあり、審査役の言語モデルが、エージェントの出力と作成物に照らして各基準を採点する。課題はすべての基準を満たした場合にだけ合格となり、代表指標はpass@1の合格率である。課題は人間の専門家が平均1.8時間かかると見積もられており、エージェントには、長期にわたる計画、大きなファイル構造の中での移動、複数のアプリケーションにまたがる作業の調整が求められる。ベンチマークはオープンソースで、課題とワールドはCC-BYライセンスで公開され、基盤となる環境の仕組みであるArchipelagoもオープンソースのリポジトリとして入手できる。