ベンチマーク
The Agent Company
コミュニティが運営する、ソフトウェアエージェントの一連の作業を通した評価。再現可能な環境で、現実的な課題に取り組ませる。
2026年10月1日時点のデータ。最新の得点は原文へ。
概要
The Agent Companyは、エージェントを（多くはOpenHandsのようなオープンソースのフレームワークを使って）実用的な課題に取り組ませ、解決率、総合スコア、要した手順数、費用を測る。提出結果は再現可能で、出力されたパッチが検証されることも多い。そのため、堅牢なエージェントと、プロンプト次第で結果が変わるベースラインとを見分けやすい。
このベンチマークが重視するのは、人工的な代替指標ではなく、読む、編集する、実行する、繰り返し改善するといった、現実世界でのエージェントのふるまいである。開発者の作業の流れや、ツールを使った問題解決にどれだけ対応できるかを測るのに役立つ。