Aider Polyglot

概要

モデルには各問題につき2回の試行が与えられる。1回目に失敗すると、その試行に対する単体テストの結果が示される。これにより、プログラミングの問題を解く力に加え、ファイルを編集して自分の誤りを直す能力も試される。

方法論

データは、Aiderのpolyglotリーダーボードのページから直接取り込んでいる。

Aider Polyglotベンチマークは、Exercismで最も難しい225問を使って、C++、Go、Java、JavaScript、Python、Rustでのモデルのコーディング能力を評価する。モデルには各問題につき2回の試行が与えられる。1回目に失敗すると、その試行に対する単体テストの結果が示される。これにより、プログラミングの問題を解く力に加え、ファイルを編集して自分の誤りを直す能力も試される。

評価ではまず、いくつかの要素を組み合わせたプロンプトがモデルに与えられる。コーディング課題の全般的な説明、解答を実装するための具体的な指示、追加の文脈や要件、そして修正すべきファイルと重要な制約（関数名を変えないこと、標準ライブラリだけを使うことなど）を指定する定型の追記である。モデルは、与えられた解答ファイルを修正して、求められた機能を実装しなければならない。

上の指示に従って、与えられたファイルを修正してください: {file_list} 既存の関数やクラスの名前は変えないでください。単体テストなど他のコードから参照されている可能性があります。 標準ライブラリだけを使い、パッケージのインストールを提案しないでください。

解答は、言語ごとの単体テスト（Pythonならpytest、Rustならcargo testなど）を実行して検証する。テストが失敗した場合、モデルは2つ目のプロンプト（下記）を受け取る。そこには、テストのエラーと、テストファイルを変えずにコードを直すよう求める指示が含まれる。モデルは、失敗したテストを直すために最大2回まで試行できる。

上のテストのエラーを確認してください。 テストは正しいので、テストを変更しようとしないでください。 {file_list} のコードを修正して、エラーを解消してください。

主な指標は2回目の試行後の合格率で、すべてのテストに合格した演習問題の割合を表す。合格率に加え、各モデルについて次の詳細も報告している。

• 編集形式：ファイルの編集にモデルが使うよう指示される形式。システムプロンプトでモデルに指定される。
• 編集形式の正確さ：指定された編集形式にモデルが従った問題の割合。
• コスト：評価全体、つまり225問すべてでモデルを評価するのにかかったドル建ての費用。

方法論の詳細と評価コードについては、Aider polyglotベンチマークのGitHubリポジトリを参照のこと。