ベンチマーク
ARC-AGI-1
原文：ARC-AGI-1
概念学習のベンチマーク。入出力の例から、少数例での抽象化、パターンの帰納、プログラムのような推論ができるかを評価する。
2026年10月1日時点のデータ。最新の得点は原文へ。
概要
Abstraction and Reasoning Corpus（ARC-AGI）は、グリッドで表された入出力の実例を数個見せたときに、モデルがその背後にある規則を推し量り、新しいテストケースに一般化できるかを調べる。課題では、対称性、規則の組み合わせ、物体のまとまり、アルゴリズム的な手順といった変換を、自然言語による指示なしに見つけ出す必要がある。
ARC-AGIは、表面的な統計を超えた体系的な汎化と、構成的な推論を評価するよう設計されている。スコアは課題ごとの正否による正解率で、一見単純な問題でも、短いプログラムを書くのに似た、筋の通った内部表現と計画を必要とすることが多い。