ベンチマーク
Adversarial NLI
敵対的に収集した自然言語推論の例からなるベンチマーク。分布が変わっても文章を頑健に推論できるかを試す。
2026年10月1日時点のデータ。最新の得点は原文へ。
概要
Adversarial NLI（ANLI）は、人間とモデルの双方が関わる作成プロセスで作られた。アノテーターが、強力な自然言語推論（NLI）システムを狙って誤らせる前提文と仮説文の組を作成する。それ以前のNLIデータセットと比べ、ANLIには難しく多様な現象が多く含まれ、表面的なパターンは少ない。そのため、含意・矛盾・中立の判定を厳しく試す頑健なテストとなっている。
問題は高性能なモデルを相手に収集されたため、ANLIで正解するには、パターンの照合ではなく、細かな世界知識、丁寧な読解、複数段階の推論が必要になることが多い。性能は通常、段階的に難しくなるラウンドごとに報告され、敵対的な圧力の高まりと、分布外への汎化の度合いを反映する。