ベンチマーク
ARC AI2
原文：ARC AI2
AI2 ARCデータセットの問題を使い、小中学校レベルの理科の知識と推論を評価する多肢選択式の理科ベンチマーク。
2026年10月1日時点のデータ。最新の得点は原文へ。
概要
AI2 ARCベンチマークには、事実の知識、常識、複数段階をたどる推論を必要とする小学校・中学校の理科の問題が収められている。問題は短く、人間にはなじみのあるものだが、表面的な手がかりだけでは解けないよう意図的に作られており、モデルは知識と推論を組み合わせて正しい選択肢を選ぶ必要がある。
ARC AI2は、限られた文脈のもとでの理科の理解を測るために広く使われている。報告される結果は通常、EasyとChallengeの二つの区分を合算したもので、Challengeの部分は自明でない推論と、アノテーションの偏り（アーティファクト）への耐性に重点を置く。