MindCube

概要

MindCubeは、Northwestern、Stanford、NYU、University of Washingtonの研究者が作成したベンチマークである。視覚言語モデルが、限られた複数視点の画像から空間的なメンタルモデルを組み立てられるかを測る。具体的には、位置や向きを推し量り、移動したあとに場面がどう見えるかを、隠れている部分や見えていない部分も含めて推測する。3,268枚の画像に対する21,154問の多肢選択問題を含み、設定はRotation、Among、Aroundの3つである。問題はテンプレートから生成され、狙いを定めた紛らわしい選択肢が付いている。診断用の一部の問題では人間が約95%を得点する一方、フロンティアモデルのスコアははるかに低いままである。

方法論

結果は、公開されているMindCubeのリーダーボードから取得している。グラフには全問を通した総合正解率を示し、設定ごと（Rotation、Among、Around）の正解率はデータのエクスポートに残している。リーダーボードにある、合成したランダムなベースラインの行は除外している。

問題には、実際の場面を写した少数の視点から答えるので、モデルは直接観測できない空間関係について推論しなければならない。総合スコアは問題数で重み付けされており、問題の大半はAmongの設定が占める。リーダーボードには、フロンティアの独自モデルに加えて、オープンウェイトのモデルや空間認識に特化したモデルが混在しており、その多くは小規模な研究用モデルである。追跡しているモデルのバージョンと対応づけられない項目は、保存はするがグラフには載せない。