ベンチマーク
LiveBench
原文:LiveBench
現実の課題を幅広く集めた動的なベンチマーク。定期的なリリースで更新され、標準化された判定手順で採点される。
各モデルの得点の表・グラフは 原文のページ(英語・操作可能) で閲覧できます。
概要
LiveBenchは、推論、コーディング、数学、データ分析、言語といった分野の課題を集めている。リリースごとに課題のセットと判定の基準(ルーブリック)を固定するので、同じ条件で比較できると同時に、利用者のニーズやプロンプトの書き方の変化も反映できる。
結果は通常、分野別のスコアと総合スコアにまとめられる。課題が多様で頻繁に入れ替わるため、LiveBenchは、モデルの実用上の有用性や性能低下(リグレッション)のリスクを時系列で追うのに役立つ。