EnigmaEval

概要

Scale AIがCenter for AI SafetyおよびMITと共同で作成したEnigmaEvalは、パズルハントから集めた1,184問のパズルで、長い形式のマルチモーダル推論を評価する。解くには、創造的な問題解決、暗黙の知識の統合、テキストと画像が混在する内容にわたって多くの推論の段階をつなげることが必要である。パズルは、初心者向けのパズルハントから集めた通常セットと、MIT Mystery Huntのようなイベントから集めた難関セットに分かれている。難関セットでは、最先端のモデルでも依然としてスコアがほぼゼロである。

方法論

結果は、公開されているScale AIのEnigmaEvalリーダーボードから取得している。グラフには全パズルを合わせた正答率を示す。採点は最終的な答えの完全一致による。リーダーボードの信頼区間の半幅は、データのエクスポートに残してある。

思考モードと非思考モード、推論努力の設定といったモデルの違いは、リーダーボードでは名前だけで区別される別の項目として載っている。これらは、このリーダーボードと同じ形式をとるHumanity’s Last Examのデータと同じ慣例に従って、モデルのバージョンに対応づけている。Scaleはほとんどのモデルをベンチマークの公開後に評価しており、リーダーボードではそれらの行に汚染の可能性についての注意書きを付けている。