ベンチマーク

CadEval

原文:CadEval

テキストからCADを生成するベンチマーク。幾何とレンダリングのチェックを満たす有効なパラメトリック3D設計をモデルが生成できるかを評価する。

CadEvalの得点の推移点は各モデルの得点(14件)。破線はその時点までの最高得点。点にマウスを乗せるとモデル名と得点を表示その時点の最高得点OpenAIAnthropicGoogle DeepMindGoogle DeepMind,Google0%20%40%60%80%20242025得点モデルの公開日出典:Epoch AI(CC BY 4.0)・作図:AGI Hub

2026年10月1日時点のデータ。最新の得点は原文へ。

概要

CadEvalは、CADの生成を最初から最後まで通して測る。テキストのプロンプトを与えられたモデルは、仕様に合う物体としてレンダリングされるCADプログラム(OpenSCAD形式など)を作らなければならない。このベンチマークは、成功率と幾何的な忠実度の両方を、レンダリングの成否、Chamfer距離/Hausdorff距離、体積・整合性のチェックなどの指標で報告する。

課題は、長い手順にわたる推論、ツールを用いた生成、幾何と制約の理解を厳しく試す。良い結果を出すには、構文的に正しいコードを書くだけでなく、厳しい定量的なしきい値を満たす形状の類似度を達成する必要がある。

← ベンチマーク一覧へ

非公式の日本語訳公式ページ(英語):epoch.ai/benchmarks/cad-eval