概要

Epoch能力指数（Epoch Capabilities Index、ECI）は、多種多様なAIベンチマークのスコアを1つの「汎用能力」の尺度にまとめたものである。個々のベンチマークが飽和してしまうほど長い期間にわたっても、モデル同士を比較できる。

ECIは、50を超える個別のベンチマークのスコアから、汎用能力を測る1つの尺度を作る合成指標である。おおまかに言えば、ECIは構成要素のベンチマークをつなぎ合わせ、同じモデルが複数のベンチマークで評価されている箇所すべてで比較を行って、ベンチマーク同士の相対的な難しさを決める。個々のモデルは、難しいベンチマークで良い成績を挙げるほど高いECIスコアを得る。

方法論の概要は方法論の節で説明する。技術的な詳細は私たちの論文『A Rosetta Stone for AI Benchmarks』にある。この論文はGoogle DeepMindの資金提供を受け、同社のAGI Safety & Alignmentチームの研究者と共同で執筆した。ただし、ECIはEpoch AIの独立した成果物であり、その権利はすべてEpochが持つ。

ECIのコードは公開リポジトリ（こちら）で入手できる。

ECIの対話型リーダーボードはepoch.ai/eciで見られる。ソフトウェア工学と数学を対象とする分野別のECIスコアについては、分野別ECIの節を参照してほしい。