CL-bench

概要

Tencent HunyuanチームとFudan University（復旦大学）のNLPグループが作成したCL-benchは、「文脈学習（context learning）」を調べる。つまり、推論実行時に文脈の中で示された真に新しい知識をモデルが吸収し、それを使って推論できるかである。知識は、架空の法制度、新しい金融商品、創作したゲームのルール、経験的に導かれた法則など、事前学習のデータに含まれないものを意図的に選んでいる。そのためこのベンチマークは、記憶した事実を思い出す力ではなく、文脈から学ぶ力を測る。

課題は4つの区分にわたる。領域知識に基づく推論、規則体系の適用、手順的な課題の遂行、そして経験的な発見とシミュレーションである。

方法論

結果は、公開されているCL-benchのリーダーボードから取得している。

CL-benchには、専門家が作成した1,899の課題と、それに対応する31,607の検証用ルーブリック（文脈1つあたり約63個）が含まれ、4つの区分と18の下位区分にわたる。採点は課題ごとの二値で、回答がその課題のルーブリックすべてを満たした場合にだけ解けたとみなす。代表指標は解答率、つまり完全に解けた課題の割合で、グラフでは区分ごとの解答率も表示できる。

詳細はCL-benchの論文とコードを参照のこと。