Lech Mazur Writing

Lech Mazur Writingは、必須の物語の要素を組み込んだ短編を書く能力を試すベンチマークである。2026年4月に一対比較による採点を採用して以来、このベンチマークでは適切なバージョン管理が行われていない。現在のリーダーボードは、異なる評価役のモデル群による結果を、開示されていない手順でつないで組み合わせており、スコアと順位は変更の記録なしに変わってきた。

方法論

こうしたバージョン管理されていない変更を追うため、ベンチマークのGitHubリポジトリの過去のコミットを調べた。プロンプトと生成された物語は（評価されたモデルの一部については）見ることができたが、採点の方法は説明されているだけなので、独立に検証することはできない。

代表的な誤り

• 現在のリーダーボード内での、バージョン管理されていない評価役の顔ぶれの変更：現在の方法論の説明には、評価役のモデル群が変わったときは、過去の判定と新しい判定をつなぎ合わせるとある。現在のリーダーボードには、複数の評価役の構成（evaluator-v2とevaluator-v3）による結果が含まれている。¹
• プロンプトのレビュー可能性と一貫性（現在のリーダーボードへの影響は不明）：以前のバージョン変更で、出力の目標が400〜500語の物語から600〜800語の物語に更新された。現在公開されているプロンプトのファイルには、値の入っていない{min_count}/{max_count}のプレースホルダが残っており、²保存された旧バージョンのREADMEには、目標に届くよう語数の指示をモデルごとに別々に調整していたことが書かれている。
• カバー率（現在のリーダーボードに偏りが生じている可能性）：比較されたのは書き上げられた物語だけである。READMEによれば、Claude Opus 4.7は400本中347本、Claude Opus 4.8 highは400本中399本、Claude Fable 5 highは400本中395本の物語を書き上げた。³物語が書き上げられない原因ははっきりしない。

一対比較による採点に切り替えたときも新しいバージョン番号は付けられず、その後の変更もバージョン管理されていない。⁴その中には4月下旬の変更も含まれる。このときリーダーボードは開示されていない方法で「刷新」され、その結果、スコアの尺度が変わり、評価役のモデル群が新しくなり、対象のモデルの顔ぶれも変わった（追加されたものも外されたものもある）。そのため、時期によって順位が再現できない。2026年4月18日には、⁵Claude Sonnet 4.6 Thinking 16KはClaude Opus 4.6 Thinking 16Kを下回っており、スコアはそれぞれ2.54と3.15だった。ところが2026年4月28日には、⁶順位が逆転し、スコアはそれぞれ2.0と1.56になっていた。

評価基準

1. レビュー可能性

水準	意味	状態
完全	すべての課題と採点ロジックを確認でき*、各モデルに使われたハーネス（実行環境）とAPIの設定（推論の強度、トークン・時間の上限、ツールへのアクセス、システムプロンプト）がすべて開示されている	［2へ進む］
部分的	課題の代表的なサンプルと採点ロジックを確認でき、ハーネスとAPIの設定がすべて開示されている	［2へ進む］
不十分	確認できる課題や採点ロジックが限られている、偏っている、またはまったくない。ハーネスとAPIの設定が開示されていない	［停止 → 情報不足（NEI）］

* 一般に公開されている場合と、レビュー担当者に非公開で提供されている場合のどちらでもよい。

2. 採点

これは「検証済み」と判定されるために必要な最低限の基準である。これらの項目のどれか一つでも満たさなければ、判定は「欠陥あり」となる。

採点
例	書かれたとおりでは、正しく答えることが事実上不可能（例：課題の指定が不十分、隠れた要件がある、ファイルやツールが欠けている） 偽陰性（例：採点が厳しすぎる、正解データが古いか誤っている、時間とともに変わりうる外部の現在の状態に依存している、エージェントとは無関係にサンドボックスが故障する） 偽陽性（例：採点が甘い、報酬ハッキングができる環境である、採点ロジックの誤りを突く、ハーネスやWebから答えを取ってくるといった近道で、測るとされている能力を迂回できる） 課題が、うたっている能力をまったく測れていない
「欠陥あり」とする既定の閾値	確認したサンプル†の20%以上に誤りがある、または採点を大規模に損なう問題がある
状態	合格 問題あり［停止 → 欠陥あり］ 未レビュー
注記	—

ベンチマークの一貫性
例	バージョン番号を上げずに、採点器、指示、正解データが変更された
「欠陥あり」とする既定の閾値	リーダーボードに、異なるバージョンによる比較できない結果が混在している
状態	合格 問題あり［停止 → 欠陥あり］ 未レビュー
注記	—

能力の引き出し
例	モデルの能力の引き出し方が極めて制約的で、しかもその制約がベンチマークの測ろうとしているものではない： 課題の規模に比べて資源が足りない（トークン・ターン・時間の上限、サンドボックスの資源） コンテキストの管理がまずい エージェント型の環境を用意するのが自然な場面で、それがない エージェント型のベンチマークで、モデルの意思によらない打ち切りが多すぎる
「欠陥あり」とする既定の閾値	その課題に対する妥当な別の設定と比べて、性能が大幅に下がっている
状態	合格 問題あり［停止 → 欠陥あり］ 未レビュー
注記	—

評価設定の偏り
例	計算資源やトークンの予算が不均等 足場（スキャフォールド）の選び方が不公平（例：一部のモデルだけに最適化されている）
「欠陥あり」とする既定の閾値	特定のモデルに有利な、無視できない差が見つかった
状態	合格 問題あり［停止 → 欠陥あり］ 未レビュー
注記	—

† 利用できる課題が50を超えるベンチマークでは、無作為に50個をサンプリングする（カテゴリがあればカテゴリで層別化する）。観測された誤り率が15〜25%の場合は、サンプルを100に増やす。利用できる課題が50以下のベンチマークでは、すべての課題を評価する。

3. 評価の質

これはすべてのベンチマークに満たしてほしい基準だが、これらの項目を省いたり満たさなかったりしても、必ずしも失格にはならない。

問い	状態	注記
能力の引き出しと資源の十分さ：モデルに与えられた資源（推論のトークン・ターンの予算、ツールへのアクセスなど）は、モデルが上限近くの性能を出すのに十分か？	十分 制約的 不当に制約的 不明 未レビュー	—
足場の公平性：リーダーボードはどの足場での結果を報告しているか？	共通の足場 モデル専用の足場と共通の足場が混在 モデル専用の足場 未レビュー	—
汚染の証拠やリスクはあるか？	未レビュー	—
人間が課題を完了できるかは評価されているか？	すべての課題 代表的な課題のセット 実施方法が不適切（課題のセットが代表的でない、参加者の選び方が妥当でない） 未確立 未レビュー	—
スコアの範囲（推定できる場合）	下限 —、上限 — 未レビュー	—
統計的な十分さ：モデルあたりの実行回数（誤差棒を付けるには5回以上を推奨）	モデルあたり —回 不明 未レビュー	—
構成概念妥当性	うたっている能力を測っている うたっている能力を部分的に測っている うたっている能力を測っていない 未レビュー	—

免責事項

これは部分的なレビューである。欠陥のあるベンチマークについて公表している閾値を超える誤りが見つかった時点で、確認を打ち切った。

公開前にベンチマークの開発者への連絡を試みた。開発者がこのレビューへの回答を書いた場合は、ここにリンクを載せる。ベンチマークの開発者の方で、回答をここに載せることを希望される場合は、回答へのリンクを添えてreviews@epoch.aiまでメールでお知らせいただきたい。