DTBench

概要

Redwood Researchの概念的推論能力チームが作成したDTBench（Decision Theory Benchmark）は、ニューカム型問題の意思決定理論についてモデルがどう推論するかを試す。ニューカム型問題とは、あるエージェントの決定が、自分のコピーのような似たエージェントの行動について手がかりを与える状況である。データセットには人手で作った多肢選択式の問題が537問含まれ、その大多数は意思決定理論家のCaspar Oesterheldが書き下ろした独自の問題である。内訳は、客観的な正解がある能力の問題407問と、ニューカム問題で箱を1つだけ取ることを勧めるかどうかといった、モデルの意思決定理論上の態度を探る問題130問である。

方法論

結果は、公開されているConceptual Reasoning Indexのリーダーボードから取得している。グラフには能力の問題407問での正答率を示す。態度の問題には客観的な正解がないので、採点から除外している。ランダムに答えた場合のスコアは40%である。また、すべての答えを2人目の分野の専門家が独立に確認しているため、ベンチマークの著者らは、到達しうる最高の成績は100%か、それに近いと考えている。

モデルは、各ラボの既定のサンプリングパラメータと、利用できる最大のトークン上限、推論努力、思考の設定で実行される。態度の問題に対するモデルの回答のうち、証拠的意思決定理論の推奨と一致するものの割合は、データのエクスポートに残してある。

詳細はDTBenchの論文とコードを参照のこと。