AlgoTune

概要

AlgoTuneは、確立された参照実装より速く動き、なおかつ正しい出力を返すコードを言語モデルが書けるかを評価する。課題は数学、物理学、計算機科学、機械学習にわたり、gzip圧縮、AES暗号化、特異値分解、凸最適化といった問題を含む。

方法論

結果は、公開されているAlgoTuneのリーダーボードから取得している。

AlgoTuneには、各分野の専門家が提供した154のコーディング課題が含まれる。モデルはAlgoTunerという評価用の枠組み（ハーネス）の中で、予算の範囲内でループを回す。コードを編集し、実行してプロファイリングし、評価用に取り置いたテストで正しさを検証しながら、課題ごとに決められた予算の中で最も速い有効な版を残していく。各解答の実行時間は、SciPy、scikit-learn、CVXPYといった広く使われているライブラリの参照実装と比べて計測される。代表スコアは全課題にわたる高速化倍率の調和平均で、1.0xは参照実装から改善がないことを意味し、高いほど良い。

詳細はAlgoTuneの論文とコードを参照のこと。