AI開発者は最近のモデルのGPQA Diamondスコアを正確に報告している

性能を誇張する強い動機がありながら、AI開発者は自社の最近の主要モデルについてGPQA Diamondのスコアを正確に報告していることが、私たちの新たな分析でわかった。専門家レベルの科学の問題でモデルを試すGPQA Diamondについて、開発者が報告したスコアと、私たちが独自に標準化した条件で行った評価のスコアを比較した。開発者の結果は私たちの結果としばしば異なっていたが、一貫して私たちの信頼区間の十分内側に収まっていた。

LLMの評価には本質的にある程度のランダム性があり、同じ質問を繰り返しても異なる回答が返ってくることがある。これに対応するため、私たちは各問題でモデルを複数回テストし、結果を集計している。こうすることで、多くの場合、モデルの真の性能を90%の信頼度で4〜6パーセントポイント以内の誤差で推定できると考えている。つまり、評価に伴う自然なばらつきを考慮したうえで、モデルの性能が上のグラフに示した範囲に収まることを90%の信頼度で見込んでいる。