データインサイト
Epoch能力指数(ECI)は、難易度の幅広いベンチマークをつなぎ合わせている
著者:Jaeho Lee、Luke Emberson(Epoch AI)
AIの能力のトレンドを評価するうえで中心的な問題は、ベンチマークが1〜3年で飽和しがちなことである。Epoch能力指数(Epoch Capabilities Index、ECI)は、ベンチマーク同士をつなぎ合わせることで、幅広い能力水準のモデルを比較できるようにしている。
ECIは抽象的な尺度を用いるが、個々のベンチマークでの期待性能を計算すればスコアを解釈できる。上のグラフでは、GSM8K、OTIS Mock AIME 2024-2025、FrontierMath Tier 1-3について、さまざまなECIの値に対するベンチマークの期待性能を示している。
このグラフについて詳しく
Epoch能力指数(ECI)のスコアを解釈する方法の1つは、ECIスコアだけに基づいて個々のベンチマークでの期待性能を計算することである。難易度が大きく異なる3つのベンチマーク、GSM8K、OTIS Mock AIME 2024-2025、FrontierMath Tier 1-3について、この関係をプロットした。網掛けの領域で90%信頼区間も示している。
← データインサイト一覧へ