ベンチマーク
GBAEval
原文：GBAEval
Game Boy Advanceのエミュレーターをゼロから実装させて、AIコーディングエージェントを試す長期のソフトウェアエンジニアリングのベンチマーク。
各モデルの得点の表・グラフは 原文のページ（英語・操作可能） で閲覧できます。
概要
GBAEvalは、長期にわたるソフトウェアエンジニアリングのタスク、すなわちRustとWebAssemblyでGame Boy Advanceのエミュレーターをゼロから作るタスクで、AIコーディングエージェントを評価する。実行結果はリプレイテスト、手続き的テスト、音声テストで採点されるので、このベンチマークはエミュレーターの挙動全般にわたって機能的な正しさを測ることになる。
方法論
結果は公開されているGBAEvalのリーダーボードから取得している。リーダーボードは、リプレイ、手続き的、音声の各セクションのスコアを組み合わせた総合スコアを報告する。このページのグラフは既定で総合スコアを表示し、セクション別のスコアも見られるようにしている。
GBAEvalでは、エージェントはRustとWebAssemblyでGame Boy Advanceのエミュレーターを作るよう求められる。候補のエミュレーターは、参照用のエミュレーターであるMesen2と比べて、3つの区分で採点される。リプレイテストでは決まったボタン入力の記録を流して、得られた映像フレームを比較する。手続き的テストではハードウェアの挙動を試すROMを実行し、DMA音声テストでは生成された音声出力を比較する。総合スコアではリプレイテストの比重が最も大きく、残りを手続き的テストと音声テストが占める。