WeirdML (v3)

概要

ノルウェー国防研究所（NDRE）のHåvard Tveit Ihleが作成したWeirdMLは、手作りの複雑な機械学習の課題からなるベンチマークである。その第3版であるWeirdML v3（2026年9月）はエージェント型で、11個の課題を含む。どの課題でも、エージェントはなじみのないデータを探索して理解し、機械学習とデータ分析のパイプラインを構築し、データが限られていたり、目標が明示されていなかったり、フィードバックがごく限られていたりしても、適切な結果を出さなければならない。モデルは、Codex CLI、Claude Code、Gemini CLIといったコーディングエージェントの中で実行する。

WeirdML v3はWeirdML v2とは異なる課題セットを使っており、二つのバージョンのスコアは比較できない。v3の評価にかかったAPI費用の大部分は私たちが負担し、残りはMETRとNDREが負担した。

方法論

結果は、公開されているWeirdMLのリーダーボードから取得している。グラフには、リーダーボードの公式スコアを示す。このスコアは、最終的な性能だけでなく、トークン効率も評価に入れている。リーダーボードの最終最高スコア（Final Best Score、ここでは「最大性能」と表示）と、1回の実行あたりの平均API費用は、指標のドロップダウンから選べる。ツールチップには、スコアの95%信頼区間、評価環境（ハーネス）のバージョン、推論の度合い（reasoning effort）、実行回数が表示される。

リーダーボードは各モデルについて、11個すべての課題にわたる「それまでの最高の実効スコア」の平均を、使用トークン数に対して、トークン数を対数軸にしてプロットする。公式スコアは、この曲線の下の面積を正規化したものの80%に、曲線の最終値の20%を加えたものである。面積に算入するのは、50万から5,000万トークンまでの区間だけである。曲線は、各設定の中で実行結果を平均したうえで、11個の課題それぞれに等しい重みを与える。各課題のヒントありとヒントなしの版は、それぞれその課題の重みの半分ずつを受け持つ。実効スコアは正規化され、ヒントによる減点を含むので、そのままの正答率ではない。最終最高スコアは、各課題の最終的な実効スコアを等しく重みづけした平均である。リーダーボードには、すべての設定で少なくとも1回の有効な実行があるモデルだけが載る。