Fiction.liveBench

概要

Fiction.liveは、創作者のコミュニティが自作の物語を共有し、語り合うのに使っている人気のプラットフォームである。このベンチマークは一連の物語をもとにしており、各サンプルはFiction.live上の物語のひとつについての質問である。質問に答えるには、登場人物について心の理論を働かせること、出来事の時系列を理解すること、はっきり書かれていない情報から推論することが必要になる。

このベンチマークは、モデルが長いコンテキストをどれだけうまく扱えるかを測るためのものである。同時に、単純な認識や検索に近い従来の「干し草の中の針」型の評価よりも難しくなっている。

方法論

データはFiction.liveBenchのリーダーボードから直接取得している。

このベンチマークは、30の物語についての36の質問からなる。元の物語それぞれについて、重要な細部を保ったまま原文より短くした版を複数作り、ほぼ最短の文章から原文までの長さを網羅する。モデルは要約の長さごとに別々にテストされ、結果は30の物語すべてについて集計されて、要約の長さ別に表示される。

ベンチマークについての詳しい情報と考察を含む報告書の全文は、fiction.Liveで読める。