ベンチマーク
FrontierSWE (v2)
超長期にわたるソフトウェアエンジニアリングのベンチマーク。実装、性能改善、科学計算、視覚的推論、AI研究のタスクで、1タスクあたり20時間の予算を与えてコーディングエージェントを試す。
2026年10月1日時点のデータ。最新の得点は原文へ。
概要
FrontierSWEは、現実の技術分野から集めた、難しく超長期にわたるソフトウェアエンジニアリングのタスクでコーディングエージェントを評価する。現行版のFrontierSWE v2（2026年9月）は、実装、性能エンジニアリング、科学計算、視覚的推論、AI研究にわたる34のタスクを含む。たとえば、gitをZigで実装し直す、MEG（脳磁図）による脳の記録から音声を復号する、中期の天気予報モデルを学習させる、といったタスクがある。各タスクは最大20時間実行されて0〜100%で採点され、モデルはタスクごとに5回実行される。
リーダーボードの主要な数値は、5回の試行の平均スコアを全タスクで平均したものである。サイトでは、5回の試行のうち最良と最悪の結果、分野別のスコア、タスクあたりの平均コストと実経過時間も報告している。どのモデルも、ベンチマーク独自の最小限のエージェントハーネス「proximus」の中で、最大の推論努力で実行される。
方法論
結果は公開されているFrontierSWEのリーダーボードから取得し、その既定のmean@5スコアを示している。エクスポートするデータには、5回の試行の最良と最悪の結果、実装・性能・研究の部分スコア、リーダーボードにあるタスクあたりの平均コストと所要時間も含めている。