ベンチマーク
CL-bench Life
CL-benchの姉妹版。日常のやりとり、散らばったメモ、行動の痕跡といった雑然とした実生活の文脈から、モデルが学び推論できるかを試す。
2026年10月1日時点のデータ。最新の得点は原文へ。
概要
Tencent HunyuanチームとFudan University（復旦大学）のNLPグループによるCL-bench Lifeは、CL-benchの姉妹版で、整った専門的な資料から、雑然とした実生活の文脈へと対象を移している。モデルには、よく構造化された参考資料の代わりに、日常のやりとり、断片的なメモ、行動の痕跡が与えられる。これらは社会的な状況に根ざし、時間的にもばらばらに散らばっている。モデルはこの文脈から学んで課題をこなさなければならない。
課題は3つの区分にわたる。コミュニケーションと社会的なやりとり、断片的な情報と改訂、そして行動の記録と活動の履歴である。
方法論
結果は、公開されているCL-bench Lifeのリーダーボードから取得している。このリーダーボードでは、「Life」の結果がCL-bench本体のリーダーボードと並ぶタブとして表示される。
CL-bench Lifeには、専門家が厳選した405組の文脈と課題、そして3つの区分にわたる5,348の検証用ルーブリックが含まれる。CL-benchと同様に採点はルーブリックに基づき、代表指標は解答率、つまりルーブリックに照らして解けた課題の割合である。グラフでは区分ごとの解答率も表示できる。
詳細はCL-bench Lifeの論文とデータセットを参照のこと。