ベンチマーク
HellaSwag
原文：HellaSwag
敵対的にふるい分けた、常識にもとづく文完成のベンチマーク。日常の場面で何がもっともらしいかの判断を測る。
2026年10月1日時点のデータ。最新の得点は原文へ。
概要
HellaSwagは、物語の続きとして最も筋の通ったものをモデルに選ばせる。誤答の選択肢は、紛らわしいほどもっともらしくなるように生成・選別されている。データセットは手順の説明文や動画の説明文のコーパスから作られているので、正解するには物理的な常識と、日常の一連の動作についての知識が必要になる。
HellaSwagは、それ以前のモデルがつけ込んでいた表面的な手がかりが通用しないように作られている。常識推論と、敵対的に選ばれた誤答選択肢への頑健さを調べる定番のテストである。