方法論（ベンチマーク・レビュー）

各ベンチマークは、次の評価基準で評価する。

評価基準第1版。今後の改訂では、新しい種類のベンチマークの欠陥にも対応する見込みである。

判定の区分

判定	定義
検証済み	レビュー可能性（第1節）が「完全」または「部分的」と判断され、スコアに影響する欠陥（第2節）のうち、品質の基準を超えるほど深刻なものはなかった。指摘した問題はすべて、レビューの「限界」の節に注意点として記録する。
欠陥あり	レビュー可能性（第1節）が「完全」または「部分的」と判断されたが、スコアに影響する欠陥（第2節）のうち少なくとも一つが、品質の基準を超えるほど深刻だった。
情報不足	レビューに必要な情報が得られなかったため、「検証済み」とも「欠陥あり」とも判定できない。

水準	意味	扱い
完全	すべてのタスクと採点のロジックが確認でき*、各モデルに使ったハーネスとAPIの設定（推論の度合い、トークン数・時間の上限、ツールへのアクセス、システムプロンプト）がすべて開示されている	［2へ進む］
部分的	タスクと採点のロジックの代表的な標本が確認でき、ハーネスとAPIの設定がすべて開示されている	［2へ進む］
不十分	確認できるタスクや採点のロジックが限られている、偏っている、またはまったくなく、ハーネスとAPIの設定が開示されていない	［終了 → 情報不足］

* 一般に公開されているか、レビュー担当者に非公開で提供されているかは問わない。

これは「検証済み」となるのに必要な最低基準である。これらの項目のどれか一つでも満たさなければ、「欠陥あり」の判定になる。

採点
例	書かれたとおりでは正しく答えることが事実上不可能（例：タスクの指定が不十分、隠れた要件がある、ファイルやツールが欠けている）偽陰性（例：採点器が厳しすぎる、正解データが古いか誤っている、変化しうる外部の現在の状態に依存している、エージェントと無関係なサンドボックスの障害）偽陽性（例：採点器が甘い、報酬ハッキングができる環境、採点のロジックの誤りを突く、ハーネスやウェブから答えを取ってくるといった近道で、測るはずの技能を迂回できる）タスクが、うたわれている能力をまるで測っていない
「欠陥あり」とする標準の基準	確認した標本†の20%以上に誤りがある、または大規模に採点を損なう問題がある
扱い	合格指摘あり［終了 → 欠陥あり］未レビュー
備考	—

ベンチマークの一貫性
例	バージョン番号を上げずに、採点器、指示、正解データが変更された
「欠陥あり」とする標準の基準	リーダーボードに、異なる版による比較できない結果が並んでいる
扱い	合格指摘あり［終了 → 欠陥あり］未レビュー
備考	—

能力の引き出し
例	モデルの能力の引き出し方が極端に制約されており、しかもそれがベンチマークの主眼ではない。タスクの規模に比べてリソースが足りない（トークン数・ターン数・時間の上限、サンドボックスのリソース）コンテキストの管理がまずいエージェント用の環境を用意するのが自然な場面で、それがないエージェント型のベンチマークで、意図しない強制終了が多すぎる
「欠陥あり」とする標準の基準	そのタスクに対する妥当な代替の設定と比べて、性能が大幅に下がっている
扱い	合格指摘あり［終了 → 欠陥あり］未レビュー
備考	—

評価設定の偏り
例	計算資源やトークンの予算が不均等スキャフォールドの選び方が不公平（例：一部のモデルだけに最適化されている）
「欠陥あり」とする標準の基準	特定のモデルに有利な重大な偏りが見つかった
扱い	合格指摘あり［終了 → 欠陥あり］未レビュー
備考	—

† 利用できるタスクが50を超えるベンチマークでは、（カテゴリーがあればカテゴリーで層別して）50件を無作為に抽出する。観測された誤りの率が15〜25%なら、標本を100件に増やす。利用できるタスクが50以下のベンチマークでは、すべてのタスクを評価する。

これは、すべてのベンチマークに満たしてほしい基準だが、これらの項目を欠いていたり満たしていなかったりしても、ただちに失格になるわけではない。

問い	扱い	備考
能力の引き出しとリソースの十分さ：モデルに与えるリソース（推論トークン・ターンの予算、ツールへのアクセスなど）は、モデルが上限に近い性能を出すのに十分か	十分制約あり不当に制約されている不明未レビュー	—
スキャフォールドの公平性：リーダーボードはどのスキャフォールドでの結果を報告しているか	共通のスキャフォールドモデル固有のものと共通のものが混在モデル固有のスキャフォールド未レビュー	—
汚染（コンタミネーション）の証拠やリスクはあるか	レビュー日時点：タスクの—%が公開解答の—%が公開未レビュー	—
人間が解けるかどうかは評価されているか	すべてのタスク代表的なタスクの集合実施方法に問題あり（タスクの集合が代表的でない、参加者の集団が妥当でない）確認されていない未レビュー	—
スコアの範囲（推定できる場合）	下限 —、上限 — 未レビュー	—
統計的な十分さ：モデルあたりの実行回数（誤差範囲を示すには5回以上を推奨）	モデルあたり — 回不明未レビュー	—
構成概念妥当性	うたわれている能力を測っているうたわれている能力を部分的に測っているうたわれている能力を測っていない未レビュー	—

信頼できる既存のレビューがあるベンチマークについては、同じ結果を再現するのではなく、その外部レビューを引用する。