Lech Mazur Writing

概要

更新：このベンチマークのデータは、元のバージョンの最終リーダーボード（2025年8月8日公開）の時点で固定している。このリーダーボードは50のモデルを0〜10の絶対尺度で採点していた。その後ベンチマークは、物語を2つずつ比較する新しい採点方式に移行した。この方式が出すのは相対的な評価値で、ここに示す0〜10のスコアとは組み合わせられない（「方法論」を参照）。このページはもう更新しない。

Lech Mazur Writingベンチマーク（lechmazur/writingプロジェクト）は、厳しい制約のもとで、モデルが創作の短編をどれだけうまく書けるかを試す。各モデルはおよそ400〜500語の物語を500本書き、どの物語にも、ランダムに割り当てられた10の要素（登場人物、物、中心となる概念、属性、行動、方法、舞台、時期、動機、トーン）を自然に組み込まなければならない。7つのLLMからなる採点者団が、人物造形、筋の構成、雰囲気、語りの技量、独創性、まとまり、そして必須の10要素それぞれをどれだけうまく組み込んでいるかを扱う16問の評価基準で、各物語を採点する。報告されるスコアは0〜10の尺度での平均評価である。

どの物語も同じ必須要素を共有し、長さもほぼ同じなので、出力をモデル間で直接比較できる。また、このベンチマークは文章の流暢さだけでなく、制約を満たしているかと文学的な質の両方をとらえる。

方法論

スコアは、lechmazur/writingリポジトリのバージョン1の最終リーダーボード（2025年8月8日のスナップショット）から取得している。これは、物語を0〜10の絶対尺度で採点した最後のリリースである。

その後のバージョンでは、もはや絶対的な点数を付けていない。代わりに、評価役のモデルが物語を2つずつ直接比較し、その一対比較の判定をサーストン型の比較評価値に集約する。この評価値は、ゼロを中心とし、比較の対象に入っているモデルの顔ぶれに対して相対的に尺度が決まるうえ、モデルが追加・削除されるたびに推定し直される。つまり、物語が何も変わらなくても、モデルの評価値は変わりうる。この種の評価値はEpoch能力指数には使えない。Epoch能力指数には、0〜1の固定した尺度に対応づけられるベンチマークのスコアが必要だからである。比較対象の顔ぶれに対する相対的な評価値は、性能の絶対的な水準と安定した対応関係を持たず、以前の0〜10の点数と混ぜれば、比較対象の顔ぶれの変化とモデルの能力の変化を混同することになる。そこで、このベンチマークを0〜10方式の最終リーダーボードで固定し、完了した過去のベンチマークとして扱っている。