ベンチマーク
GDP.pdf
原文：GDP.pdf
現実の専門業務で使われるPDFについての質問に、モデルが答えられるかを測るベンチマーク。
各モデルの得点の表・グラフは 原文のページ（英語・操作可能） で閲覧できます。
概要
Surge AIが作成したGDP.pdfは、専門家の実際の業務から集めた現実のプロンプトとPDFで構成される、マルチモーダル推論のベンチマークである。マニュアル、配線図、設計図、技術メモといった文書を読み、関連する情報を選び出し、もっともらしいが誤った細部に頼らずに質問に答えられるかを試す。
タスクは、必要な事実とよくある失敗のパターンを特定した採点基準にもとづいて採点される。公開されているベンチマークのページには、タスクの例、研究論文、Hugging Faceのデータセットへのリンクがある。
方法論
GDP.pdfの結果は、公開されているSurge AIのGDP.pdfリーダーボードから取得している。リーダーボードは、正しく解けたタスクの割合を報告している。このページのグラフは、この公開スコアをプロットしたものである。
GDP.pdfは、10の分野の専門的なPDF業務から集めた100のタスクでモデルを評価する。分野には、金融、医療、法務、エンジニアリング、建設、製造とサプライチェーン、保険、不動産、人事、STEMまたは研究が含まれる。各タスクはプロンプトと1つ以上のPDFの組で、モデルは関連する情報を見つけ、表、図、書式、契約の文言を解釈し、答えをまとめなければならない。回答は、必要な事実とよくある失敗のパターンを特定した、タスクごとの採点基準で採点される。リーダーボードの主要スコアは、モデルが採点基準のすべてを満たしたタスクの割合を表す。