ベンチマーク
SuperGLUE
原文：SuperGLUE
GLUEより難しくなるよう設計された、多様な言語理解の課題のセット。推論とサンプル効率に重点を置く。
各モデルの得点の表・グラフは 原文のページ（英語・操作可能） で閲覧できます。
概要
SuperGLUEは、CB、RTE、BoolQ、MultiRC、WiC、WSC、COPA、ReCoRDといった課題を集め、一般的な自然言語理解（NLU）の能力をまとめる総合スコアを報告する。問題はアノテーションに由来する手がかり（アーティファクト）をできるだけ減らしてあり、細やかな推論、共参照の解決、語彙の意味の理解が必要になる。
モデルカードでは、単一の課題でのファインチューニングやパターンの悪用を超えた、言語理解の進歩を総合的に示す指標として、SuperGLUEがよく引用される。