ベンチマーク
BoolQ
原文：BoolQ
はい／いいえで答える読解ベンチマーク。短い根拠文を与えられたモデルが、自然に生じた質問に答える。
各モデルの得点の表・グラフは 原文のページ（英語・操作可能） で閲覧できます。
概要
BoolQは、ユーザーが実際に発した質問（多くは検索クエリ）と、関連する文章の組で構成される。モデルは、根拠から「はい」と「いいえ」のどちらの答えが導かれるかを判断しなければならない。そのため、丁寧な読解、否定の扱い、判断が際どい場合の確信度の調整（キャリブレーション）が成績を左右する。
答えが二択で一見単純に見えるが、高い成績を出すには、文章と質問の意図を正確に理解する必要がある。BoolQは、事実を読み取る力と、言葉の微妙な違いへの頑健さを調べる手軽な指標としてよく使われる。