ベンチマーク
CommonSenseQA 2
より難しく、偏りを減らした多肢選択式ベンチマーク。語彙上の近道に頼らない日常的な常識を調べる。
各モデルの得点の表・グラフは 原文のページ（英語・操作可能） で閲覧できます。
概要
CommonSenseQA 2は、従来の常識QAを拡張し、より多様な関係と、より慎重に作った誤答の選択肢を取り入れている。これにより、表面的なパターンの照合が効きにくくなっている。問題は物体、社会的な状況、因果関係についての実用的な知識を問い、もっともらしい答えと正しい答えの違いを重視する。
このベンチマークは、現実世界のあいまいさをよりよく反映し、スコアを水増ししかねないアノテーションの偏り（アーティファクト）を減らすよう設計されている。その結果、高い成績は、データセットの偏りにつけ込んだのではなく、概念を本当に理解していることを示す場合が多い。