ベンチマーク
ALE-Bench
原文：ALE-Bench
競技プログラミングのコンテストから集めた難しい組合せ最適化問題を使い、長期にわたり目的に沿って進めるアルゴリズムエンジニアリングの能力でAIを評価するベンチマーク。
各モデルの得点の表・グラフは 原文のページ（英語・操作可能） で閲覧できます。
概要
Sakana AIがAtCoderと共同で作成したALE-Benchは、長期にわたり目的に沿って進めるアルゴリズムエンジニアリングの能力でAIを評価する。問題は、経路決定、スケジューリング、計画、複数エージェントの制御といった難しい組合せ最適化の課題である。一度で答えを出すことより、長いセッションの中で解を繰り返し改良することが報われる点で、実際のヒューリスティック・プログラミングのコンテストと同じ形式になっている。
方法論
結果は、公開されているALE-Benchのリーダーボードから取得している。
ALE-Benchは、過去のAtCoder Heuristic Contest（AHC）の問題40問から作られている。Pythonライブラリがコードのサンドボックスを備えたAHCのコンテスト環境を再現し、モデルは決められた持ち時間の中で解答を繰り返し提出し、公開テストによる評価のフィードバックを受け取る。各提出は採点され、人間の参加者と比べてどの順位に入るかに基づき、Eloレーティングに似た方法で「パフォーマンス」の値に換算される。グラフの既定の表示は平均パフォーマンス（高いほど良い。おおむね0〜3500の尺度）で、コンテストの順位（低いほど良い）も表示できる。
詳細はALE-Benchの論文とコードを参照のこと。