ARC-AGI-2

概要

ARC Prize Foundationが開発したARC-AGI-2は、Abstraction and Reasoning Corpusの第2版である。前版と同じく、システムにグリッド形式の入出力の実例を示し、背後にある変換規則を推し量って新しいテスト入力に適用させる。テストケースごとに2回の試行が認められる（pass@2）。ベンチマークは全部で1,360の課題からなり、内訳は学習用1,000と評価用360で、評価用は公開・準非公開・非公開の3つのセットに120ずつ均等に分けられている。

ARC-AGI-2は、人間には取り組みやすいまま、AIシステムにとっては大幅に難しくなるよう設計されている。元のARC-AGIで総当たりのプログラム探索によって解かれやすかった課題は除かれ、新しい課題は、記号の解釈、構成的な推論、文脈に応じた規則の適用といった弱点を狙っている。これらは、現在のシステムが表面的な視覚パターンを超えて意味を読み取ったり、相互に作用する複数の規則を同時に適用したりするのに苦労する領域である。400人を超える参加者による統制された人間のテストで、評価用の課題はどれも少なくとも2人が2回以内の試行で解けることが確認され、人間の平均スコアは60%だった。ARC-AGI-2の公開時点で、純粋なLLMのスコアは0%で、最先端の推論システムでも1桁台のパーセントにとどまった。