ベンチマーク
SpatialViz-Bench
マルチモーダルモデル向けに、空間視覚化のパズルをプログラムで生成したベンチマーク。心的回転、折りたたみ、透視、動きの想像を扱う。
各モデルの得点の表・グラフは 原文のページ（英語・操作可能） で閲覧できます。
概要
SpatialViz-Benchは、マルチモーダルLLMの空間視覚化能力、つまり物体を頭の中で思い描いて操作し、見えていない関係を推し量る能力を測る。1,180問の多肢選択問題はプログラムで生成されているので、学習データへの混入（汚染）が起きにくい。問題は4つの下位能力、すなわち心的回転、心的な折りたたみ、視覚的な透視、心的なアニメーション（動きの想像）にわたり、それぞれに3種類の課題と、制御された難易度の段階がある。人間は全体で約82%を得点する一方、現在のモデルのスコアははるかに低いままである。
方法論
結果はSpatialViz-Benchの論文の表2から取得しており、評価されたすべてのモデルを含む、思考の連鎖（chain-of-thought）プロンプトの設定を使っている。グラフには全体の正解率を示し、4つの下位能力ごとの平均はデータのエクスポートに残している。
論文の最新の数値を載せた更新中のリーダーボードがない（プロジェクトページに埋め込まれたリーダーボードは論文より古い）ため、結果は論文から書き写し、論文が改訂されたときに更新する。論文は「CoTのパラドックス」を報告している。思考の連鎖プロンプトは、クローズドソースのモデルの大半では性能を高めるが、オープンソースのモデルの多くでは性能を下げるという現象である。そのため一部のオープンなモデルでは、CoTありのスコアが直接回答させたときのスコアより低い。論文にある人間、ランダム、テキストのみの参照用の行は除外しており、追跡しているモデルのバージョンと対応づけられないモデルは、保存はするがグラフには載せない。