データインサイト 2026年1月23日
ベンチマークのスコアは、分野をまたいでも強く相関している
著者：Luke Emberson、Yafah Edelman（Epoch AI）
モデルの順位は、ほとんどのAIベンチマークにわたって驚くほど一貫している。重複して評価されたモデルが5つ以上ある15のベンチマークについて見ると、異なるカテゴリに属するベンチマーク同士の相関の中央値は0.68で、同じカテゴリに属するもの同士の0.79と比べても低くない。
ベンチマークのスコアは、分野をまたいでも強く相関している ベンチマークのスコアは、分野をまたいでも強く相関している ペアごとの順位相関 Lech Mazur Writing Fiction.liveBench GeoBench GPQA Diamond VPCT SimpleBench ARC-AGI-1 SWE-bench（Bash Only） WeirdML (v2) Aider Polyglot METR Time Horizons FrontierMath Tiers 1-3 FrontierMath Tier 4 MATH Level 5 OTIS Mock AIME 24-25 Epoch能力指数（ECI） Lech Mazur Writing Fiction.liveBench GeoBench GPQA Diamond VPCT SimpleBench ARC-AGI-1 SWE-bench（Bash Only） WeirdML (v2) Aider Polyglot METR Time Horizons FrontierMath Tiers 1-3 FrontierMath Tier 4 MATH Level 5 OTIS Mock AIME 24-25 Epoch能力指数（ECI） 0.40 0.51 0.43 0.40 0.21 0.62 0.54 0.33 0.60 0.46 0.46 0.32 0.67 0.42 0.80 0.60 0.52 0.57 0.27 0.36 0.32 0.34 0.14 0.41 0.53 0.48 0.39 0.37 0.32 0.77 0.81 0.52 0.71 0.68 0.84 0.58 0.79 0.83 0.56 0.39 0.72 0.73 0.90 0.95 0.88 0.67 0.83 0.80 0.87 0.93 0.53 0.79 0.87 0.58 0.83 0.89 0.59 0.97 0.62 0.87 0.93 0.17 0.56 0.76 0.34 0.95 0.90 0.83 0.85 0.93 0.94 0.77 0.80 0.96 0.40 0.89 0.94 0.84 0.92 0.90 0.69 0.84 0.92 0.75 0.88 0.98 0.95 0.92 0.44 0.79 0.92 0.74 0.89 0.91 0.92 0.63 0.82 0.94 0.67 0.95 0.96 0.42 0.93 0.91 0.60 0.97 0.59 0.78 0.91 0.67 0.69 0.73 0.89 0.73 0.57 0.69 0.83 0.78 0.86 0.86 0.40 0.51 0.43 0.40 0.21 0.62 0.54 0.33 0.60 0.46 0.46 0.32 0.67 0.42 0.80 0.60 0.52 0.57 0.27 0.36 0.32 0.34 0.14 0.41 0.53 0.48 0.39 0.37 0.32 0.77 0.81 0.52 0.71 0.68 0.84 0.58 0.79 0.83 0.56 0.39 0.72 0.73 0.90 0.95 0.88 0.67 0.83 0.80 0.87 0.93 0.53 0.79 0.87 0.58 0.83 0.89 0.59 0.97 0.62 0.87 0.93 0.17 0.56 0.76 0.34 0.95 0.90 0.83 0.85 0.93 0.94 0.77 0.80 0.96 0.40 0.89 0.94 0.84 0.92 0.90 0.69 0.84 0.92 0.75 0.88 0.98 0.95 0.92 0.44 0.79 0.92 0.74 0.89 0.91 0.92 0.63 0.82 0.94 0.67 0.95 0.96 0.42 0.93 0.91 0.60 0.97 0.59 0.78 0.91 0.67 0.69 0.73 0.89 0.73 0.57 0.69 0.83 0.78 0.86 0.86 1.00 1.00 1.00 1.00 1.00 1.00 1.00 1.00 1.00 1.00 1.00 1.00 1.00 1.00 1.00 1.00 色が濃いほど相関が高い（0〜1）。セル内の数値はスピアマンの順位相関係数（対角は1）。行・列の並びは原図と同じくカテゴリ順（その他→ 推論→コーディング→数学→ECI）。 ベンチマークのカテゴリ（原図の分類） その他：Lech Mazur Writing、Fiction.liveBench、GeoBench、GPQA Diamond／推論：VPCT、 SimpleBench、ARC-AGI-1／コーディング：SWE-bench (Bash Only)、WeirdML (v2)、Aider Polyglot、METR Time Horizons／数学： FrontierMath Tiers 1-3、FrontierMath Tier 4、MATH Level 5、OTIS Mock AIME 2024-2025 出典：Epoch AI（CC BY 4.0）・作図：AGI Hub epoch.ai
こうした相関は、規模とともに向上する共通の能力因子の存在を示唆しており、これがEpoch AI のEpoch能力指数（ECI）の背後にある直観である。ただし、この事実は、相関の推定値が標本のばらつきに強く左右されることも意味する。あるモデルより数年後にリリースされたモデルは、ほぼどんなタスクでも勝つため、広い期間にわたるベンチマーク同士ほど相関が高くなりやすい。
このグラフについて詳しく Epoch AI のBenchmarking Hubにあるベンチマーク間の相関を、ペアごとの相関行列で可視化した。相関はすべてスピアマンの（順位）相関である。
ほかの各ベンチマークと5つ以上のモデルが共通して評価されている17のベンチマークについて見ると、順位相関の中央値は0.73である。ベンチマークのカテゴリをまたいだ相関は、カテゴリ内の相関とほぼ同じくらい高い。異なるカテゴリのベンチマーク同士の相関の中央値は0.68、同じカテゴリ同士では0.79である。ベンチマーク間のこの高い一致が、単一の能力因子をとらえるよう設計されたEpoch能力指数（ECI） の動機になっている。当然ながら、ECIはその元になるベンチマークとよく相関している。
原文：Benchmark scores are well correlated, even across domains （Epoch AI、2026年1月23日、Luke Emberson、Yafah Edelman）、CC BY 4.0 。翻訳とグラフの作り直し：AGI Hub。
引用表記（原文）：Epoch AI, 'Benchmark scores are well correlated, even across domains'. Published online at epoch.ai. Retrieved from 'https://epoch.ai/data-insights/benchmark-correlations' [online resource].
← データインサイト一覧へ
