ベンチマーク
Blueprint-Bench 2
空間知能のベンチマーク。AIエージェントがアパートの写真から2Dの間取り図を作る。
各モデルの得点の表・グラフは 原文のページ（英語・操作可能） で閲覧できます。
概要
Andon Labsが作成したBlueprint-Bench 2は、室内の写真からアパートの一貫した空間モデルをAIエージェントが組み立てられるかを試す。各エージェントは50戸のアパートを処理し、1戸につき約20枚の写真を調べて、部屋、部屋どうしのつながり、相対的な広さを記した2Dの間取り図を作る。その際、アパートをまたいで持ち越せるメモ帳を使える。これはAndon LabsのBlueprint-Benchの第2版で、エージェントだけの設定で実施される。
方法論
結果は、公開されているBlueprint-Bench 2のリーダーボードから取得している。グラフにはリーダーボードの正規化スコアを示す。0はランダムなベースライン、1は完璧な間取り図に対応し、ランダムなベースライン以下のスコアは0に切り詰める。元の合成スコアとその標準誤差は、データのエクスポートに残してある。
生成された間取り図は、部屋の接続を表すグラフとして正解と比較される。部屋どうしの接続の類似度に、次数、密度、部屋数、扉の数、向きの項を組み合わせたもので、回転と鏡映に対して不変である。採点は決定的で、画像の重なりによる指標やLLMによる審査は使わない。参考として、Andon Labsは一部のアパートで人間のベースラインの正規化スコアが約0.59だったと報告している。