Furniture Assembly Benchmark

概要

Furniture Assembly Benchmarkは、物の組み立てについての空間的推論を測る、Epoch AIのベンチマークである。モデルは、途中まで、または最後まで組み立てたIKEA家具の写真と公式の組立説明書を与えられ、ここまでの組み立てが正しいかを判断する。正しくなければ、誤りがあった手順を特定し、その内容を説明しなければならない。組み立ての誤りを見つけるには、技術的な図と実物とを結びつける必要がある。これは家電の修理や車の整備のような作業に関わる能力だが、既存の視覚的推論のベンチマークではほとんど試されていない。

このベンチマークは、複雑さが段階的に増す3つのIKEA製品を組み立てる途中で撮った写真からなる。Ställの靴収納、Tonstadのベッドフレーム、Gullabergのチェストである。正しい組み立てを写した写真もあれば、意図的に作った、はっきり見える誤りを含む写真もある。多くの場合、誤りに気づきにくくするため、誤りのあとも組み立てを続けた。

公開時の分析の全体は、私たちの記事「AI は IKEA 家具の組み立てを考える力を大きく伸ばしている」を参照のこと。

EpochはIKEA製品の写真とIKEAの組立説明書を、研究と論評の目的でのみ使用した。この研究はIKEAとは独立に行っている。Epochは、もとになる著作物を配布したり、その利用権を販売したりはしない。

方法論

写真。 IKEA Complexity Indexで難易度に幅が出るよう選んだ、3点のIKEA家具を購入した。Ställの靴収納（写真14枚）、Tonstadのベッドフレーム（25枚）、Gullabergのチェスト（21枚）で、写真は合計60枚である。組み立てのさまざまな時点で写真を撮った。正しい組み立てを写した写真もあるが、それ以外では現実にありそうな組み立ての誤りを意図的に作り、多くの場合は誤りのあとも組み立てを続けた。そのため、誤りは写真に見えているが、直前の手順で起きたものではない。誤りを含むどの写真でも、何を見ればよいか知っている人には問題がはっきり見える。

タスク。 写真ごとに、モデルは組み立て中の製品と直前に終えた手順を知らされ、写真、PDFの公式組立説明書、画像の一部を高解像度で見るためのズームツール、Pythonインタープリターを与えられる。モデルは、ここまでの組み立てが正しいかを判断しなければならない。誤りを見つけた場合は、誤りがあった手順を報告して問題を説明しなければならず、複数見つけた場合はすべてを挙げなければならない。組み立てが正しい場合は、利用者を次の手順へ案内しなければならない。各サンプルは、80ステップの予算を持つエージェント用のサンドボックスで実行される。上限に近づくとモデルに警告し、上限に達すると最終回答を求める。実際には、上限に達したサンプルは5%未満だった。

採点。 採点は複数の段階で行う。組み立てに誤りがなく、モデルもそう答えた場合は正解とする。誤りがある場合は、まずモデルの答えを、誤りがあった手順についての正解と照らし合わせる。正しい手順を特定していれば、次に誤りの説明をLLMの採点者（GPT-5.6 Sol）が確認する。採点者には寛容に採点するよう指示しており、モデルが誤りのある手順を特定し、問題をおおまかに説明していれば得点になる。報告するスコアは60枚の写真での正答率で、エラーバーは±標準誤差を示す。

各モデルは、そのAPIが対応している最も高い推論努力で評価する。オープンウェイトのモデルには開発元の公式APIエンドポイント（MoonshotとAlibaba）を使ったが、オープンモデルの速度と品質は提供元によって大きく異なることがある。画像にまったく対応していないモデルもあり、そうしたモデルは評価できない。