GDPval

概要

GDPValは、米国経済の9つの部門から集めた職場のタスクでモデルを評価する。部門には、金融・保険、政府、医療、製造業、情報などが含まれる。これらの部門は、合わせると米国のGDPに占める割合が最も大きいことから選ばれた。各部門の中では、主にデジタルで仕事をする職業のうち収入が最も高い5つを対象としており、合計で44の職業と1,320のタスクを含む。

タスクは、文書、スプレッドシート、プレゼンテーションなど、実際の仕事の成果物にあたる。採点は盲検の一対比較で行う。分野の専門家は、タスクと、ラベルのない2つの成果物（モデルの出力と人間の専門家の成果物）だけを見て、どちらがどちらかを知らないまま順位を付ける。結果は、人間のベースラインに対するモデルの勝ち、引き分け、負けのいずれかになる。

方法論

GDPValの結果は、公開されているGDPValのリーダーボードから取得している。公開のリーダーボードは、少なくとも2つの集計指標を報告している。勝率の指標と、勝ちと引き分けを合わせた指標である。このページのグラフは既定で公開の勝率の指標を使う。エクスポートしたデータに勝ち＋引き分けの指標がある場合は、ドロップダウンでそちらも選べる。