WeirdML v2

WeirdML v2は、エージェント型ではない設定で、なじみのない、明確に規定された機械学習の問題を、固定された計算資源の予算のもとで解くPyTorchのコードをモデルが書けるかどうかをうまく測っている。¹

課題は目新しく、注意深い思考を要するように設計されている。公開されている課題には、形状の認識、数字の分類、その他の画像課題、チェスの対局結果の予測がある。このベンチマークは、理解、実装、フィードバックの活用、計算効率という4つの能力を試すとうたっている。しかし、リーダーボードが最も直接に測っているのは実装である。17個の課題のうち13個は非公開で、データセットの過半は新しく作られたものなので、汚染に強いベンチマークになっている。能力と費用のフロンティアが強調されており、費用、トークン、コードの長さ、実行時間、経時変化の分析も含まれる。実行を繰り返し、不確かさも公表しているので、リーダーボードの統計的なばらつきがふつうより見えやすい。

解釈

WeirdMLが試すのは、新しい形で定式化された問題に対する素早い機械学習エンジニアリングである。120秒・GPU1基という計算資源の上限のもとで実行し、5回の試行にわたってフィードバックを与え、最もよい試行で採点する。このベンチマークはエージェント型ではない珍しい設定を使っており、二つのモデルを別途分析したところ、一般的なエージェント型の設定ではスコアが大きく上がった。高得点のモデルについては、次のことができると信頼してよい。すなわち、示されたデータと問題の説明を理解し、妥当なPyTorchのアーキテクチャを選んで実装し、厳しく、かつ開示された計算資源の予算のもとで、厳密な定式化を見たことのない種類の問題について、複数回の試行で高い正答率を達成することである。この能力が、なじみのない問題やデータセットに対する一般的で適応的な機械学習エンジニアリングにまで及ぶかどうかは、このベンチマークでは評価していない。

結果を左右しうる要因

• 5回中の最高で採点：スコアは5回の試行のうち最もよいものを反映しており、モデル自身が最善だとして確定させた解答ではない。そのため、モデルが一つの答えに決めなければならない実際の運用の場面と比べて、スコアが水増しされる。
• あいまいなシステムプロンプト：システムプロンプトはあいまいで、上限が5回であることを明示せず、「何回か反復できる」と述べている。そのため、探索にもっと時間を使えると想定するモデルに不利な偏りが生じる。この振る舞いは、非公開の課題「number_patterns」で最もよく見られる。

課題の分析

19個²すべての課題（通常は非公開のものを含む）について、すべてのプロンプトとデータを確認できた。公開されている4つの課題については、プロンプトと学習データのごく一部が公開されている³。残りの13個の課題は名前（例：Splash Hard）でしか示されていない。このレビューでは公開されている課題を中心に扱い、非公開の課題について分かったことは、汚染のリスクを抑えるため抽象的な記述にとどめる。

「Weird（奇妙）」というのは、主に課題の定式化のことで、根底にある機械学習の手法のことではない。公開されている4つの課題は、おおむね、よく知られた機械学習の問題の型を独自に作り変えたものである。

• Shapes（Easy/Hard）は、点集合に対する、順序に依存しない（置換不変な）分類である
• Digitsは、クラスの偏りがある半教師あり分類である
• Chessは、実際の対局の指し手の系列から対局結果を予測する（Eloレーティング1300未満の初心者）

Hardの版は、主に近道をふさぐもので、概念的な新しさを加えるものではない。使われているデータセットは既知のものと新しいものが混在しており、ベンチマークの説明にあるように新しいものばかりではない。公開されている課題の一部（Shapes Easyなど）は、フロンティアモデルの間で飽和している。

性能の上限と下限

• 課題の上限：既知の課題あたりの上限は94.78%である（17個の課題それぞれでいずれかのモデルがこれまでに達成した最高スコアの、17課題にわたる平均）。私たちの推定では、課題ごとの上限は17個の課題で80%から100%の範囲にあり、平均は約95%である。
• 課題の下限：
  • Shapes（Easy/Hard/Variable）＝20%
  • Chess＝50%
  • Digits Unsupervised＝一様な当て推量で16.7%。ただし、クラスの偏りがあるため、最も多いクラスを当て推量するほうが強くなりうる⁴
  • Kolmogorov Shuffle＝20%
  • Classify Sentences＝10%
  • Classify Shuffled＝20%
  • Insert Patches＝8%
  • Blunders（Easy/Hard）＝20%
  • Digits Generalize＝10%
  • XOR（Easy/Hard）＝10%
  • Splash（Easy/Hard）＝10%
  • Number Patterns＝20%
• 人間のベースライン：なし。

能力の引き出しとスキャフォールド

• 対象範囲：レビュー時点で公開の結果ファイルに152個のモデルがあり、新しいモデルが定期的に追加されている。
• 能力の引き出しの設定：1回の実行で5回提出する。最初の4回の提出のたびに、モデルはターミナルの出力と評価のフィードバックを受け取る。各提出は、固定のTITAN V GPU（12GB）を使うDockerコンテナで、120秒の時間制限（v1の600秒から短縮）のもとで実行される。v2ではモデルあたり約5回実行する（費用の高いいくつかのモデルは2回のみ）。v1ではモデルあたり15回（o1-previewは5回）だった。実行のおおよその費用も記録されている。
• スキャフォールドの変種：標準のリーダーボードは、共通のスキャフォールドを一つ使う。取り上げられているスキャフォールドの変種は、別に行われたエージェント型WeirdMLの実験だけである。この実験では、GPT-5.5とClaude Opus 4.7を、それぞれcodex_cliとclaude_codeで評価した。評価はInspect AIのフレームワーク内で、インターネットに接続しないDockerのサンドボックスで行い、課題あたりの予算は合計2,000万トークンとした。このスキャフォールドでは、エージェント型でないベースラインと比べて性能が向上した。Claude Opus 4.7は76.4%から87.9%に、GPT-5.5は84.9%から88.3%に上がった。

限界

解説記事には6個の公開課題と13個の新しい課題が記されているが、採点の対象は17個の課題である。Fashion-MNISTとImagenetteの画像パッチを並べ替えるジグソーパズル型の課題であるShuffle（Easy/Hard）は、X上で説明されているとおり、プロンプトの問題のために外された⁵。

プロンプトの問題で外されたShuffle Easyには、記録された近道がある。個々のパッチが自分の位置を明かしてしまうことが多く、意図されたパッチ間の推論問題を解かなくても済むのである。非公開の課題のうち二つには既知の近道があり、GPT 6 Astra（max）はそれを突くことができる⁶。

エージェント型の実験では、フロンティアモデルが、時間を計る採点用のハーネスの外で学習をすべて済ませ、120秒の枠内では推論実行用に事前に計算した重みだけを提出できることに気づいた。このため、その設定ではモデル間の比較が難しくなるが、標準の（エージェント型でない）リーダーボードには影響しない。

ベンチマークがうたう4つの目標のうち二つは、明示的には試されていない。

• 「データを理解する」（目標1）は別個に測られていない。公開されている課題のいくつか（Shapes Hard、Shuffle Hard、Digits）では、モデルが建前上は自分で見つけるはずの性質を、はっきりと教えてしまっている。そのためスコアは、独力での発見よりも、示された性質に基づいて行動する力を部分的に試している。一部の課題は、データを深く理解しなくても妥当な結果が得られる近道や汎用的な解き方を許しやすい。
• 「フィードバックから改善する」（目標3）は別個に測られていない。最終スコアは5回の提出の最高値なので、フィードバックを使わなくても、試行を重ねればスコアが上がりうる。v1にあったmax@kによる分解がなくなったので、改善のうちどれだけがフィードバックによるもので、どれだけが独立した試行間のばらつきによるものかを、このベンチマークでは定量化できない。

追加の結果

公開されている結果を分析したところ、17個の課題にわたって、提出物の実行時間の中央値の対数と正答率との間にr=0.88の相関が見られた。この相関の解釈は定まらない。正答率の高いモデルが計算資源を多く使っているのか、正答率の高いモデルが使える計算資源に合わせて予算を調整しているのかを区別できないからである。⁷

評価基準

1. レビュー可能性

水準	意味	扱い
完全	すべてのタスクと採点のロジックが確認でき*、各モデルに使ったハーネスとAPIの設定（推論の度合い、トークン数・時間の上限、ツールへのアクセス、システムプロンプト）がすべて開示されている	［2へ進む］
部分的	タスクと採点のロジックの代表的な標本が確認でき、ハーネスとAPIの設定がすべて開示されている	［2へ進む］
不十分	確認できるタスクや採点のロジックが限られている、偏っている、またはまったくなく、ハーネスとAPIの設定が開示されていない	［終了 → 情報不足］

* 一般に公開されているか、レビュー担当者に非公開で提供されているかは問わない。

2. 採点

これは「検証済み」となるのに必要な最低基準である。これらの項目のどれか一つでも満たさなければ、「欠陥あり」の判定になる。

採点
例	書かれたとおりでは正しく答えることが事実上不可能（例：タスクの指定が不十分、隠れた要件がある、ファイルやツールが欠けている） 偽陰性（例：採点器が厳しすぎる、正解データが古いか誤っている、変化しうる外部の現在の状態に依存している、エージェントと無関係なサンドボックスの障害） 偽陽性（例：採点器が甘い、報酬ハッキングができる環境、採点のロジックの誤りを突く、ハーネスやウェブから答えを取ってくるといった近道で、測るはずの技能を迂回できる） タスクが、うたわれている能力をまるで測っていない
「欠陥あり」とする標準の基準	確認した標本†の20%以上に誤りがある、または大規模に採点を損なう問題がある
扱い	合格 指摘あり［終了 → 欠陥あり］ 未レビュー
備考	—

ベンチマークの一貫性
例	バージョン番号を上げずに、採点器、指示、正解データが変更された
「欠陥あり」とする標準の基準	リーダーボードに、異なる版による比較できない結果が並んでいる
扱い	合格 指摘あり［終了 → 欠陥あり］ 未レビュー
備考	—

能力の引き出し
例	モデルの能力の引き出し方が極端に制約されており、しかもそれがベンチマークの主眼ではない。 タスクの規模に比べてリソースが足りない（トークン数・ターン数・時間の上限、サンドボックスのリソース） コンテキストの管理がまずい エージェント用の環境を用意するのが自然な場面で、それがない エージェント型のベンチマークで、意図しない強制終了が多すぎる
「欠陥あり」とする標準の基準	そのタスクに対する妥当な代替の設定と比べて、性能が大幅に下がっている
扱い	合格 指摘あり［終了 → 欠陥あり］ 未レビュー
備考	—

評価設定の偏り
例	計算資源やトークンの予算が不均等 スキャフォールドの選び方が不公平（例：一部のモデルだけに最適化されている）
「欠陥あり」とする標準の基準	特定のモデルに有利な重大な偏りが見つかった
扱い	合格 指摘あり［終了 → 欠陥あり］ 未レビュー
備考	—

† 利用できるタスクが50を超えるベンチマークでは、（カテゴリーがあればカテゴリーで層別して）50件を無作為に抽出する。観測された誤りの率が15〜25%なら、標本を100件に増やす。利用できるタスクが50以下のベンチマークでは、すべてのタスクを評価する。

3. 評価の質

これは、すべてのベンチマークに満たしてほしい基準だが、これらの項目を欠いていたり満たしていなかったりしても、ただちに失格になるわけではない。

問い	扱い	備考
能力の引き出しとリソースの十分さ：モデルに与えるリソース（推論トークン・ターンの予算、ツールへのアクセスなど）は、モデルが上限に近い性能を出すのに十分か	十分 制約あり 不当に制約されている 不明 未レビュー	—
スキャフォールドの公平性：リーダーボードはどのスキャフォールドでの結果を報告しているか	共通のスキャフォールド モデル固有のものと共通のものが混在 モデル固有のスキャフォールド 未レビュー	「能力の引き出しとスキャフォールド」の節の「スキャフォールドの変種」を参照。
汚染（コンタミネーション）の証拠やリスクはあるか	2026年8月10日時点： タスクの23.5%が公開 解答の0%が公開 未レビュー	—
人間が解けるかどうかは評価されているか	すべてのタスク 代表的なタスクの集合 実施方法に問題あり（タスクの集合が代表的でない、参加者の集団が妥当でない） 確認されていない 未レビュー	—
スコアの範囲（推定できる場合）	下限 8〜50%、上限 80〜100% 未レビュー	—
統計的な十分さ：モデルあたりの実行回数（誤差範囲を示すには5回以上を推奨）	モデルあたり5回* 不明 未レビュー	*費用が高いため、o3-pro、Claude-4-opus、Gpt-4.5はタスクあたり2回の実行のみ
構成概念妥当性	うたわれている能力を測っている うたわれている能力を部分的に測っている うたわれている能力を測っていない 未レビュー	「限界」の節を参照。

開発者の回答

開発者は回答を辞退した。