DeepSWE v1.1

概要

DeepSWEはDatacurveによるベンチマークで、5つの言語の、活発に開発されている91のオープンソースのリポジトリにわたる、独自で長期的なソフトウェアエンジニアリング課題113問でコーディングエージェントを評価する。課題は一から書き下ろされ、元のリポジトリには一度も取り込まれていないため、学習データの汚染が起こりにくい。各課題は、特定の実装ではなく外から観察できる振る舞いを確かめる、人手で書いたプログラムによる検証器で採点される。エージェントは、インターネットに接続できないサンドボックス化されたコンテナの中で自律的に動く。

方法論

結果は、公開されているDeepSWEのリーダーボードのデータから取得している。グラフにはpass@1を示す。これは、採点対象となった実行の試行のうち合格したものの割合で、各構成は課題一式を4回ずつ通して実行する。リーダーボードのpass@4の割合と、実行ごとのばらつきに基づく信頼区間は、データのエクスポートに併せて残してある。

現在の構成はすべて、指定した推論努力でmini-SWE-agentハーネスで実行され、各モデルは推論努力ごとに別の項目として1回ずつ登場する。コンテキストウィンドウの超過による失敗とエージェントのタイムアウトは失敗として数え、提供元やインフラのエラーは採点から除外する。各構成の平均コスト、出力トークン数、エージェントのステップ数もデータのエクスポートに残してある。