PostTrainBench v1.1

概要

PostTrainBenchは、制約付きの事後学習の課題でCLIエージェントを評価する。小規模なベース言語モデル（パラメータ数10億〜40億）、H100 GPU 1基、10時間の時間枠が与えられ、エージェントは自ら選んだ事後学習の手法でモデルの性能を高めなければならない。どのデータを使うか、どうファインチューニングするか、計算資源をどう配分するかを含め、やり方はエージェントに完全に任される。あらかじめ決めた戦略、出発点となるコード、人間とのやりとりは一切認められない。結果は4つのベースモデルと7つの下流評価ベンチマークにわたって集計されるので、最終スコアは、特定のモデルや課題での性能ではなく、事後学習の能力を幅広く反映する。

方法論

PostTrainBenchの結果は、公開されているPostTrainBenchのリーダーボードから取得している。リーダーボードは、提出された手法ごとの平均スコアを報告し、各実行で使われた足場（スキャフォールド）やエージェントのフレームワークも記録している。グラフにはリーダーボードの平均スコアを示し、足場の情報はツールチップに表示している。