Surface Evolver Bench

概要

Surface Evolver Benchは、Yann Henonが作成したベンチマークで、LLMエージェントがSurface Evolver用の完全なデータファイルを書けるかを評価する。Surface Evolverは、表面張力で形の決まる液体表面をモデル化する、古くからある物理プログラムである。16の課題はそれぞれ、幾何学的な制約、接触角、重力、体積の条件のもとで液体表面をモデル化するようエージェントに求める。エージェントには、ドキュメントの参照、シミュレータの実行、最終ファイルの提出のためのツールが与えられる。

方法論

結果は、公開されているSurface Evolver Benchのリーダーボードから取得している。グラフに示すのは平均スコアで、ベンチマークの課題全体にわたる部分点込みの平均である。より厳しい二値の合格率は、平均スコアと並べてデータのエクスポートに残している。

各課題は部分点ありで決定論的に採点される。採点では、データファイルの静的チェックに通るか、非公開のシミュレーションの実行を完了できるか、非公開の物理量（体積、面積、エネルギー）が参照解と許容誤差の範囲内で一致するかを確かめる。課題が合格とみなされるのはすべてのチェックに通ったときだけなので、合格率は平均スコアより低くなる。モデルはエージェントのループの中で課題ごとに1回ずつ実行され、同じモデルの推論の強度（reasoning effort）違いは別々の項目として掲載される。