FrontierCode

概要

FrontierCodeはCognitionによるベンチマークで、実在するオープンソースのissueに対してAIコーディングエージェントが作ったパッチが、テストに通るかだけでなく、マージできる水準に達しているかを評価する。各タスクはチェックアウト済みのリポジトリと1件のissueの組であり、エージェントはコンテナの中で自律的に作業する。パッチは、評価用に伏せてあるテストと、メンテナーが書いた採点基準にもとづいて採点される。採点基準は、動作の正しさ、既存の機能を壊さないこと、ビルドとスタイルの整然さ、プロジェクトの慣例に従っていることを扱う。FrontierCode 1.1は入れ子になった2つのサブセットを報告する。Mainは最も難しい100タスク、Extendedは全150タスクを含む。

方法論

結果は、Cognitionが公開しているFrontierCodeのリーダーボードから、現行の1.1版のものだけを取得している。このページのグラフはMainのスコアを示す。これは100タスクのMainサブセットでの各モデルの採点基準スコアで、そのモデルが最も良い成績を出した推論努力でのものである。Cognitionは別に二値の合格率も報告しているが、ここでは示さない。

FrontierCodeは各提出物を重み付きの採点基準で採点し、mean@5で集計する。ブロッカーとされる基準をひとつでも満たさなければ0点になる。モデルはClaude Code、Codex、mini-SWE-agent、Devinなどのエージェントハーネスで実行される。エクスポートするデータには、各モデルのハーネスと、最も成績の良かった推論努力を残している。FrontierCode 1.1は、正当なインターネットの利用と、解答を含む情報源を参照することとを区別し、不正なインターネット利用があったと判定された実行を0点にする。