ベンチマーク
WinoGrande
原文：WinoGrande
大規模な代名詞解決・共参照解析のベンチマーク。アノテーションの偏りによる手がかりを減らし、常識を重視するよう設計されている。
2026年10月1日時点のデータ。最新の得点は原文へ。
概要
WinoGrandeは、古典的なWinograd Schema Challengeを一般化したもので、敵対的なフィルタリングを経た例をはるかに多く収めている。各問題では、あいまいな代名詞が何を指すかを、常識と世界についての知識にもとづいて正しく選ぶ必要がある。
誤答の選択肢が注意深く作られているため、WinoGrandeでは手っ取り早い目安に頼る解き方が通用しにくく、モデルが文章中の事物や因果関係を本当に追えているかがよくわかる。