ベンチマーク
LAMBADA
原文：LAMBADA
長い文脈を扱う言語モデリングのベンチマーク。文章の最後の単語を、それまでの文脈全体から予測させる。
2026年10月1日時点のデータ。最新の得点は原文へ。
概要
LAMBADAでは、正解となる最後のトークンは、たいてい最後の一文だけからは予測できないが、それより前の文脈全体を読めば明らかになる。そのため、局所的なnグラムの統計を超えた、長い範囲にわたる一貫性、登場する人や物の追跡、物語の理解が試される。
LAMBADAは、生成モデルが長い文脈を活かして次のトークンを正確に予測できるかを示す、簡潔で広く使われている指標であり続けている。