ExploitBench v0.1

概要

Carnegie Mellon University（カーネギーメロン大学）の研究者が作成したExploitBenchは、実在するソフトウェアの脆弱性を悪用しようとするとき、LLMベースのエージェントがどこまで進めるかを評価する。成功か失敗かを二値で採点するのではなく、段階的な能力をはしごに沿って測る。はしごは、脆弱なコードへの到達から、クラッシュの誘発、エクスプロイトの基本部品（プリミティブ）の構築を経て、任意コードの完全な実行にまで至る。

このベンチマークは、ChromiumのV8 JavaScript・WebAssemblyエンジンにあるNデイ脆弱性（すでにパッチが出ているバグ）を対象とする。評価には、ヒープサンドボックス、ASLR、スタックカナリアといった緩和策を有効にした既定のリリースビルドを使う。

方法論

結果は、公開されているExploitBenchのリーダーボードから取得している。

ExploitBenchは、V8の41のバグ（すべて2024年以降に報告されたもの）からなる。エクスプロイトの過程は、決定的に採点される16の「フラグ」に分解され、5つの段階にまとめられている。段階はT5（脆弱なコードの網羅）からT1（制御フローの乗っ取りとコード実行）まである。エージェントは一律のターン数の予算のもと、バグごとに複数のシードで実行され、採点には決定的なオラクルを使う。グラフには、リーダーボードの平均能力指標、つまりエージェントが立てたフラグの割合をシード間で平均したものを示す。元になる平均フラグ数（0〜16の尺度）は、ツールチップで見られる。

詳細はExploitBenchの論文とコードを参照のこと。