分野別ECI（Epoch能力指数（ECI））

概要

分野別ECIは、LLMのECIスコアが、計算に使うベンチマークの選び方によってどう変わるかを示すものである。

分野別ECIは、基本的には汎用のECIの方法論を用いるが、ソフトウェア工学（SWE）や数学といった特定の分野のベンチマークだけを取り込む。具体的には、汎用ECIの当てはめで得たベンチマークの難しさと傾きをそのまま使い、LLMの能力パラメータだけを当てはめ直す。詳しくは下の方法論の節を参照してほしい。サイバーECIは例外で、汎用ECIに含まれないサイバーセキュリティのベンチマークも取り込んでいる。下のサイバーECIの節を参照してほしい。

結果は汎用ECIと比較できる尺度で示す。そのため、あるLLMの数学ECIが汎用ECIより高ければ、そのLLMは数学以外のベンチマークより数学のベンチマークで良い成績を挙げていることになる。ただし、この尺度変換のため、分野ごとの長期的な進歩の傾向を評価するのには使えない。どの分野の結果も、全体として汎用ECIと同じペースで伸びるように尺度が変換されているからである（それでも、一時的な能力の跳躍をとらえることはできるし、たとえばあるLLMのファミリーが、ある分野で期待を下回る成績から上回る成績へ転じたことも見て取れる）。

方法論

この方法論は汎用ECIに大きく依拠しているので、背景として汎用ECIの方法論の節を読むことを勧める。

具体的には、LLM m のベンチマーク b での成績に、同じロジスティックモデルを用いる。

$performance (m, b) = σ (α_{b} [C_{m} - D_{b}])$

ベンチマークの難しさ（ $D_{b}$ ）とベンチマークの傾き（ $α_{b}$ ）のパラメータは汎用ECIの当てはめで得たものをそのまま使い、LLMの能力パラメータだけを計算し直す。こうするのは、得られる値を汎用ECIの値と比較できるようにするためだが、その代わりに、分野ごとの長期的な進歩の傾向を評価するのには使えなくなる。サイバーECIでは、公表されている汎用ECIの当てはめではなく、「汎用＋サイバー」の同時当てはめをやり直したものを出発点として、同じ手順を適用する。下のサイバーECIの節を参照してほしい。

ベンチマークのある部分集合について、注目する部分集合内のベンチマークだけで計算した予測誤差の二乗を最小にするような分野別ECI（ $C_{m}$ ）の値を、LLMごとに求める。（汎用ECIの尺度、つまりSonnet 3.5が130、GPT-5が150となる尺度にすでに乗っている値を使うので、尺度の変換は必要ない。）

信頼区間は2段階の手順で計算する。

まず、汎用ECIの当てはめで得たベンチマークのパラメータについて、500個のブートストラップ標本を取る。ブートストラップによる各当てはめ直しは、Claude 3.5 Sonnetが130、GPT-5が150となるように尺度を変換する。
次に、そのパラメータの組それぞれについて、各LLMの観測されたベンチマーク結果（注目する部分集合内のもの）から復元抽出を行い、さらに10個のブートストラップ標本を作る。これで合計5,000個の標本ができる。
その5,000個の標本それぞれについて、LLMごとに分野別ECIを当てはめる。得られた分布の5パーセンタイルと95パーセンタイルを使って信頼区間を構成する。

注：これは汎用ECIのブートストラップとは少し異なる方法である（元のブートストラップ標本1つにつき行う10回の追加の再標本化では、ベンチマークのパラメータを当てはめ直さないため）。そのため、すべてのベンチマーク結果を含めた場合でも、信頼区間がわずかに異なることがある。

サイバーECI

汎用ECIのベンチマーク群にはサイバーセキュリティのベンチマークがほとんど含まれていないため、サイバーECIはほかの分野別ECIとは異なる方法で作っている。まず、サイバーのベンチマーク19個を追加で取り込んだ「汎用＋サイバー」版のECIを新たに当てはめ直し、その同時当てはめを出発点として、上で述べた標準的な分野別の方法論に従う。サイバーECIと並べて示す汎用ECIの値は、あくまで公表されている汎用ECIの値である。また、サイバーのデータが対象とするLLMの中には、サイバーECIはあっても汎用ECIはないもの（Claude Mythos Preview (Early) など）がある。サイバーECIはこの別個の同時当てはめを出発点とするため、汎用ECIの更新より遅れて反映されることがある。同時当てはめではベンチマークのパラメータについて100個のブートストラップ標本を得ているので、サイバーECIの信頼区間は合計1,000個の標本に基づく。

データ

分野別ECIは汎用ECIのベンチマークのパラメータを取り込んでいるため、汎用ECIのデータの節に挙げたすべてのデータの影響を受ける。

どのベンチマークがSWEや数学に分類されているかは、ベンチマーク・ハブを参照してほしい。

よくある質問

ECI全般については汎用ECIのよくある質問を参照してほしい。

汎用ECIはあるのに、数学ECIやSWE ECIがないLLMがあるのはなぜか？

結果のばらつきが大きくなりすぎるのを避けるため、分野別ECIの計算には、その分野のベンチマークが少なくとも2つ必要である。汎用ECIに収録される最低基準（ベンチマーク4つ）は満たしていても、分野別ECIを付けるには足りないLLMもある。

サイバーECIはあるのに、汎用ECIがないLLMがあるのはなぜか？

ほかの分野別ECIと違って、サイバーECIは汎用ECIに含まれないサイバーのベンチマークを取り込んでいる。そのため、サイバーのベンチマーク結果が十分にあるLLMには、汎用ECIの最低基準（ベンチマーク4つ）を満たしていなくてもサイバーECIを付けられる。こうしたLLMには、エクスプローラー上で「No General ECI」という注記を付けている。詳しくは上のサイバーECIの節を参照してほしい。

結果はどう解釈すればよいか？　たとえば、あるLLMの数学ECIが160で汎用ECIが155というのは、どういう意味か？

そのLLMの数学のベンチマークでの成績は、汎用ECIが160のLLMに期待される水準にある一方、ほかのベンチマークでの成績はそれほど良くないため、汎用ECIが155にとどまっているという意味である。

この結果は、数学やソフトウェア工学の能力が汎用ECIと同じ速さで向上してきたことを意味するのか？

そうではない。私たちの方法論では、分野別ECIの値はすべて汎用ECIと同じ水準に尺度が合わせられる。詳しくは方法論の節を参照してほしい。

SWE ECIや数学ECIを作るために、数学やソフトウェア工学のベンチマークを追加したのか？

追加していない。数学とSWEの分野別ECIの計算に使うベンチマークは、汎用ECIの構成に使うベンチマークの部分集合である。サイバーECIは例外で、汎用ECIに含まれないサイバーのベンチマークを多数取り込んでいる（上のサイバーECIの節を参照）。

謝辞

分野別ECIに取り組んだAlexander Barry氏に感謝する。ECI全体の謝辞はこちらを参照してほしい。