よくある質問

ECIは何を表しているのか？

IQテストと同じように、ECIは特定の技能での成績ではなく、多くのタスクに役立つ幅広い基礎的な能力をとらえるよう設計されている。ECIは、モデルが評価を受けたベンチマーク全体にわたる能力を要約したもので、最も多くの情報をもたらすベンチマークにより大きな重みを置いている。

ECIスコアは抽象的な値で、それ単独では解釈できない。しかし、モデル同士で比べれば、基礎的な能力に意味のある差があるかどうかを判断できる。詳しくは次の質問を参照してほしい。

ECIの値はどう解釈すればよいか？

ECIの絶対値はそれ自体では意味を持たないが、モデル同士の比較には意味がある。ECIの尺度は線形である。理論上は、100から110への10ポイントの上昇は、140から150への上昇と同じくらい「目覚ましい」はずである。とはいえ、ECIが線形だからといって、私たちが関心を持つほかの量もECIの単位で線形になるとは限らない。たとえばECIの公開時点では、ECIの5ポイントの上昇が、METRのタイムホライズンがおよそ2倍になることに相当するように見えた。ECIの傾向を見る場合も同様で、傾きの絶対値には意味がないが、傾きの相対的な変化は進歩が速まったか遅くなったかを示す。

ECIスコアの尺度は任意である。値を扱いやすい範囲に収めるため、Claude 3.5 Sonnetが130、GPT-5が150になるように元のスコアを変換している。今後のモデルやベンチマークを取り込むにつれて、この基準点を見直す可能性がある。なお、Eloレーティングと同じく、ECIに上限はない。

ベンチマークによって難しさも傾きも異なるため、値はベンチマークの正答率と線形の関係にはない。

いくつかのベンチマークで首位なのに、このモデルのECIが高くないのはなぜか？

ECIは、モデルが多くのベンチマークでどれだけ良い成績を挙げるかを反映する。難しいベンチマークでの成績ほど汎用能力について多くの情報をもたらす。ベンチマークの難しさは、重なり合うモデルの結果から統計的に推定している（手作業で決めているわけではない）。

高度に特化したモデルは、その分野では非常に有能であっても、ECIスコアが低くなることがある。

使うベンチマークはどう決めているのか？

一般的な原則として、Epochは多様で、経済的な価値があり、飽和しておらず、広く使われているベンチマークを集めることを目指している。社内で実施したスコアとベンチマークの開発者が報告したスコアからなる既存の集合に、古いベンチマークの一群を補った。古いベンチマークのスコアは開発者の報告（モデルカードや技術報告書）から得ている。ベンチマークの難しさの幅が広いほど、ECIをより精密に推定できる。

ベンチマークは0から1の間で採点されている必要がある。そのため、WebDev Arenaのような「ELO」形式のベンチマークは除外した。

モデルのECIスコアが変わったのはなぜか？

ECIスコアを算出するモデルは、すべてのデータに同時に当てはめている。新しいモデルや新しいベンチマークの評価結果が加わると、データが変わっていないモデルでも値がわずかに動くことがある。

モデルの開発者が最も良いスコアだけを公表しているとしたら、問題ではないか？

確かに、モデルの開発者の報告に載る評価結果は、モデルを良く見せるために都合の良いものだけが選ばれているかもしれない。こうした評価結果だけに頼ると、推定に偏りが生じうる。この偏りを和らげるため、社内の評価でモデルを実際に動かしたり、独立に運営されているリーダーボードから評価結果を集めたりしている。こうした情報源は結果の良し悪しにかかわらず報告されるので、都合の良い結果だけを選ぶことの影響を小さくできる。

モデルの開発者がベンチマークのスコアに向けて最適化しているとしたら、問題ではないか？

私たちの手法はベンチマークの利点を受け継いでいるが、その限界も受け継いでいる。欠点の1つは、モデルの開発者が特定のベンチマークで高い成績を挙げるよう最適化できるため、一部のモデルの能力を過大に見積もってしまうことである。オープンウェイトモデルのほうがベンチマークに向けてより積極的に最適化する傾向があることを示すいくつかの証拠があり、オープンモデルと非公開モデルの差が実際より小さく示されている可能性がある。

自分のモデルが収録されていないのはなぜか？

私たちはできるだけ多くのモデルを収録するよう努めており、特に、フロンティア水準でありうるモデルを重視している。ただし、ECIスコアを安定した公平なものにするため、どのモデルについても最低4つのベンチマーク評価を必要としている。関心のあるモデルにまだECIスコアがない場合は、おそらく、そのモデルのベンチマークスコアをさらに集めている最中である。

自分のベンチマークが収録されていないのはなぜか？

「使うベンチマークはどう決めているのか？」を参照してほしい。私たちは、収録範囲の広さ、関連性、維持の実現可能性といった点を考え合わせながら、対応するベンチマークの数を積極的に増やしている。