LMCA

概要

LMCA（Language Model Conceptual Argumentation）は、Redwood Researchの概念的推論能力チームが作成したベンチマークである。意思決定理論、哲学、AIの安全性といった概念的な分野の非形式的な議論を、モデルがどれだけうまく評価できるかを測る。これらは、最終的な答えにはしばしば異論があるものの、個々の議論の質なら判断できる分野である。データセットは、560件の立場を述べた文章と、それに反論する1,461件の議論からなり、それぞれ少なくとも1人の分野の専門家が評価していて、専門家による評価は合計2,140件にのぼる。データセット自体は公開されていないが、Redwood Researchに利用を申請できる。

方法論

結果は、公開されているConceptual Reasoning Indexのリーダーボードから取得している。グラフに示すのはLMCAスコアで、モデルによる議論の「総合」評価と、人間の専門家による「総合」評価の平均とのピアソン相関係数を100倍した値である。スコアの95%信頼区間はデータのエクスポートに残している。

議論は、詳細な評価基準（ルーブリック）に照らして、中心性、強さ、正しさ、「総合」評価を含む7つの観点から人手で評価される。評価者どうしの大きな食い違いは話し合って修正し、約50件の議論からなる一部については、評価者間の一致度を見積もるため4〜6人がそれぞれ独立に評価した。これをもとに、ベンチマークの作成者は、到達しうる上限の性能を相関係数で約0.85、つまりスコアで85程度と見積もっている。モデルは、各ラボの既定のサンプリング設定と、利用できる最大のトークン上限、推論の強度（reasoning effort）、思考（thinking）の設定で実行される。

詳しくはLMCAの論文を参照。