方法論

ECIの技術的な基盤は項目反応理論（Item Response Theory、IRT）にある。IRTはもともと教育テストのために開発された統計的な枠組みである。IRTを使えば、受けたテストの実施年が違い、一方のテストが他方より難しい場合でも、生徒同士を比較できる。

私たちのモデルの中核は、単純なロジスティック関数である。

$\text{performance}(m,b)=\sigma ({\alpha }_b[C_m-D_b])$

ここで $\sigma$ はロジスティック関数、$C_m$ はモデルの能力、$D_b$ はベンチマークの難しさ、${\alpha }_b$ はベンチマーク内の問題の難しさの分布に関わる傾きのパラメータを表す。この式は、あるベンチマークでのモデルの成績が、ベンチマークの難しさに対するモデルの相対的な能力と、ベンチマークの「傾きの急さ」によって決まることを示している。${\alpha }_b$ の値が大きいほど「急な」ベンチマークであり、個々の問題の難しさの幅が狭く、ずっと難しい問題が長く裾を引くこともない。こうしたベンチマークは、モデルがいくらか解けるようになると、すぐに飽和する傾向がある。

観測されたスコア全体を最もよく説明するように、モデルの能力（$C_m$）、ベンチマークの難しさ（$D_b$）、ベンチマークの傾き（${\alpha }_b$）のパラメータを当てはめる。モデルの内部では、能力と時間や計算資源との間にいかなる関係も仮定しない。

当てはめには非線形最小二乗推定を用い、過学習を抑えるためにリッジ正則化の罰則項を加える。得られる値の尺度は任意である。現在は、Claude 3.5 Sonnetを130、GPT-5を150に固定するように尺度を変換している。これは、不確実性を伝えることと詳しい情報を提供することの釣り合いを取りながら、最近のモデルを一貫した尺度で採点できるようにするためである。

ECIの結果には、90%ブートストラップ信頼区間を付けて報告する。この区間は、モデルの集合を固定したうえで、各モデルについて観測されたベンチマーク結果の中から復元抽出を行って作る（モデルごとの観測数の合計は固定する）。そのうえで、再標本化したデータにモデル全体を当てはめ直し、これを500標本について繰り返す。当てはめ直した各結果は、中心推定値と同じように、Claude 3.5 Sonnetを130、GPT-5を150として尺度を変換する。