GSO

概要

性能エンジニアリングは、高い技能とコンピューターサイエンスの理解を必要とする、ソフトウェアエンジニアリングの中でも難しい分野である。GSO-benchは、プログラムの性能を最適化するモデルの能力を評価することを目指している。問題は、GitHubで公開されている現実のソフトウェアパッケージで人間が行った性能最適化を使い、自動化された方法で作られる。モデルには、最適化が行われる前の状態のソフトウェアパッケージのコードが示され、ソフトウェアの性能を改善するよう求められる。その改善は、プログラマーが実際に考え出したものと比べて測られる。報告されている指標OPT@Kは、K回試みたあとで、人間による高速化の95%以上をモデルが達成できた試行の割合を指す。

方法論

データはGSOのリーダーボードから取得している。

言語モデルは、OpenHandsを使ってエージェントとして動けるようにした。OpenHandsは、モデルがコンピューター上でソフトウェアエンジニアリングのタスクを行えるようにする、広く使われているフレームワークである。これにより、モデルはコードの実行、ファイルの作成と修正、ウェブの閲覧、ターミナルの操作などができる。

モデルには次のプロンプトが与えられた。

I’ve uploaded a python code repository in the directory workspace_dir_name. Consider the
following test script showing an example usage of the repository:
<test_script>
[[ SPECIFICATION TEST]]
</test_script>
Can you help me implement the necessary changes to the repository so that the runtime of
the <test_script> is optimized? Basic guidelines:
1. Your task is to make changes to non-test files in the /workspace directory to improve the
performance of the <test_script>.
2. Make changes while ensuring the repository is functionally equivalent to the original.
3. Do not overoptimize for just the specific inputs in <test_script>. Make general perfor-
mance improvements for the usage scenario shown.
4. You may need to rebuild the repo for your changes to take effect before testing. Some
rebuilds may take time to run, so be patient with running them.
Follow these steps to improve performance:
1. As a first step, explore the repository structure.
2. Create a script in the /workspace directory (e.g., /workspace/test_opt.py) to reproduce and
time the example, then execute it with python /workspace/<filename.py>.
3. Edit the source code of the repository to improve performance.
4. Rebuild and rerun your script to confirm that performance has improved.

推論モデルにはテスト時の推論を使うことが認められたが、それ以外の点ではどのモデルも同じ条件で評価された。各モデルに許されるテスト時の計算量は手作業で固定され、リーダーボードに記載されている。Opt@1という設定では、モデルは各問題につき1回しか試せない。Opt@kも同じ方法で採点されるが、モデルは各問題につきk回試せる。

評価のコードはGitHubで公開されている。