WeirdML (v2)

概要

WeirdMLの各課題は機械学習エンジニアリングの問題で、学習データと、問題を説明する指示文がエージェントに与えられる。エージェントは、与えられたデータで機械学習モデルを学習させ、求められた課題をこなすコードを書かなければならない。課題には、形状の認識、数字の分類、その他の画像課題、チェスの対局結果の予測などがあり、目新しく、注意深い思考を要するように設計されている。

方法論

データはWeirdMLベンチマークのページのリーダーボードから直接取り込んでいる。

WeirdMLは、モデルが生成したPyTorchのコードを隔離されたDocker環境で実行する自動化されたパイプラインで、モデルを評価する。各課題について、モデルは問題を詳しく説明したプロンプトと、データの読み込みと予測の保存のためのコード例を受け取る。その後、モデルには課題を解くための試行が5回与えられ、試行のたびに、実行ログとテストでの正答率という形でフィードバックを受け取る。

性能のばらつきを考慮して、各課題はモデルごとに少なくとも15回実行する。ただし計算コストの都合による例外があり、o1、o1-preview、gpt4.5-preview、claude-3.7-sonnet（thinking 8k）はそれぞれ5回の実行である。各課題の最終スコアは全実行の平均正答率で、各実行の正答率は、その5回の試行で達成した最大値とする。

評価環境には厳しい資源の制約がある。GPUはメモリ12GBのTITAN Vで、1回の実行には600秒の時間制限がある。方法論の詳細とプロンプトについては、WeirdMLベンチマークのページを参照されたい。

2026年9月に公開された新しい課題セットであるWeirdML v3は、別のページで追跡している。ここに示すv2の結果は、v3とは比較できない。