データインサイト

Epoch能力指数(ECI)は、難易度の幅広いベンチマークをつなぎ合わせている

AIの能力のトレンドを評価するうえで中心的な問題は、ベンチマークが1〜3年で飽和しがちなことである。Epoch能力指数(Epoch Capabilities Index、ECI)は、ベンチマーク同士をつなぎ合わせることで、幅広い能力水準のモデルを比較できるようにしている。

Epoch能力指数(ECI)は、難易度の幅広いベンチマークをつなぎ合わせているEpoch能力指数(ECI)は、難易度の幅広いベンチマークをつなぎ合わせているGSM8KOTIS Mock AIME 2024-2025FrontierMath Tier 1-3ベンチマークのスコア0%20%40%60%80%100%100120140160180Epoch能力指数(ECI)のスコアFrontierMath-2025-02-28-Private Epoch能力指数(ECI)のスコア:138.81 ベンチマークのスコア:8%OTIS Mock AIME 2024-2025 Epoch能力指数(ECI)のスコア:141.96 ベンチマークのスコア:78%FrontierMath-2025-02-28-Private Epoch能力指数(ECI)のスコア:141.96 ベンチマークのスコア:19%OTIS Mock AIME 2024-2025 Epoch能力指数(ECI)のスコア:139.37 ベンチマークのスコア:71%OTIS Mock AIME 2024-2025 Epoch能力指数(ECI)のスコア:138.57 ベンチマークのスコア:73%GSM8K Epoch能力指数(ECI)のスコア:112.02 ベンチマークのスコア:54%GSM8K Epoch能力指数(ECI)のスコア:111.20 ベンチマークのスコア:46%OTIS Mock AIME 2024-2025 Epoch能力指数(ECI)のスコア:150.00 ベンチマークのスコア:87%FrontierMath-2025-02-28-Private Epoch能力指数(ECI)のスコア:150.00 ベンチマークのスコア:25%GSM8K Epoch能力指数(ECI)のスコア:118.34 ベンチマークのスコア:74%GSM8K Epoch能力指数(ECI)のスコア:103.43 ベンチマークのスコア:33%GSM8K Epoch能力指数(ECI)のスコア:114.00 ベンチマークのスコア:54%GSM8K Epoch能力指数(ECI)のスコア:98.43 ベンチマークのスコア:17%OTIS Mock AIME 2024-2025 Epoch能力指数(ECI)のスコア:139.23 ベンチマークのスコア:74%FrontierMath-2025-02-28-Private Epoch能力指数(ECI)のスコア:139.23 ベンチマークのスコア:7%GSM8K Epoch能力指数(ECI)のスコア:105.39 ベンチマークのスコア:34%GSM8K Epoch能力指数(ECI)のスコア:106.25 ベンチマークのスコア:42%GSM8K Epoch能力指数(ECI)のスコア:116.83 ベンチマークのスコア:70%GSM8K Epoch能力指数(ECI)のスコア:95.04 ベンチマークのスコア:7%GSM8K Epoch能力指数(ECI)のスコア:104.41 ベンチマークのスコア:25%GSM8K Epoch能力指数(ECI)のスコア:94.22 ベンチマークのスコア:9%GSM8K Epoch能力指数(ECI)のスコア:102.11 ベンチマークのスコア:32%GSM8K Epoch能力指数(ECI)のスコア:101.37 ベンチマークのスコア:31%GSM8K Epoch能力指数(ECI)のスコア:113.01 ベンチマークのスコア:63%GSM8K Epoch能力指数(ECI)のスコア:94.28 ベンチマークのスコア:25%OTIS Mock AIME 2024-2025 Epoch能力指数(ECI)のスコア:134.87 ベンチマークのスコア:33%FrontierMath-2025-02-28-Private Epoch能力指数(ECI)のスコア:134.87 ベンチマークのスコア:2%GSM8K Epoch能力指数(ECI)のスコア:102.45 ベンチマークのスコア:53%GSM8K Epoch能力指数(ECI)のスコア:96.01 ベンチマークのスコア:11%GSM8K Epoch能力指数(ECI)のスコア:100.56 ベンチマークのスコア:21%GSM8K Epoch能力指数(ECI)のスコア:108.68 ベンチマークのスコア:44%GSM8K Epoch能力指数(ECI)のスコア:111.71 ベンチマークのスコア:54%GSM8K Epoch能力指数(ECI)のスコア:117.83 ベンチマークのスコア:70%GSM8K Epoch能力指数(ECI)のスコア:92.39 ベンチマークのスコア:21%GSM8K Epoch能力指数(ECI)のスコア:106.94 ベンチマークのスコア:52%GSM8K Epoch能力指数(ECI)のスコア:113.41 ベンチマークのスコア:61%GSM8K Epoch能力指数(ECI)のスコア:106.01 ベンチマークのスコア:46%OTIS Mock AIME 2024-2025 Epoch能力指数(ECI)のスコア:140.63 ベンチマークのスコア:69%FrontierMath-2025-02-28-Private Epoch能力指数(ECI)のスコア:140.63 ベンチマークのスコア:7%GSM8K Epoch能力指数(ECI)のスコア:99.10 ベンチマークのスコア:16%GSM8K Epoch能力指数(ECI)のスコア:93.92 ベンチマークのスコア:18%GSM8K Epoch能力指数(ECI)のスコア:104.16 ベンチマークのスコア:66%GSM8K Epoch能力指数(ECI)のスコア:109.07 ベンチマークのスコア:76%GSM8K Epoch能力指数(ECI)のスコア:113.60 ベンチマークのスコア:84%OTIS Mock AIME 2024-2025 Epoch能力指数(ECI)のスコア:138.59 ベンチマークのスコア:40%FrontierMath-2025-02-28-Private Epoch能力指数(ECI)のスコア:138.59 ベンチマークのスコア:6%GSM8K Epoch能力指数(ECI)のスコア:117.00 ベンチマークのスコア:89%GSM8K Epoch能力指数(ECI)のスコア:119.84 ベンチマークのスコア:91%GSM8K Epoch能力指数(ECI)のスコア:99.94 ベンチマークのスコア:28%FrontierMath-2025-02-28-Private Epoch能力指数(ECI)のスコア:146.24 ベンチマークのスコア:10%GSM8K Epoch能力指数(ECI)のスコア:92.42 ベンチマークのスコア:9%OTIS Mock AIME 2024-2025 Epoch能力指数(ECI)のスコア:139.70 ベンチマークのスコア:66%OTIS Mock AIME 2024-2025 Epoch能力指数(ECI)のスコア:144.11 ベンチマークのスコア:87%FrontierMath-2025-02-28-Private Epoch能力指数(ECI)のスコア:144.11 ベンチマークのスコア:20%OTIS Mock AIME 2024-2025 Epoch能力指数(ECI)のスコア:139.22 ベンチマークのスコア:58%FrontierMath-2025-02-28-Private Epoch能力指数(ECI)のスコア:139.22 ベンチマークのスコア:3%OTIS Mock AIME 2024-2025 Epoch能力指数(ECI)のスコア:140.05 ベンチマークのスコア:78%FrontierMath-2025-02-28-Private Epoch能力指数(ECI)のスコア:140.05 ベンチマークのスコア:6%OTIS Mock AIME 2024-2025 Epoch能力指数(ECI)のスコア:138.04 ベンチマークのスコア:53%OTIS Mock AIME 2024-2025 Epoch能力指数(ECI)のスコア:138.07 ベンチマークのスコア:56%FrontierMath-2025-02-28-Private Epoch能力指数(ECI)のスコア:138.07 ベンチマークのスコア:4%OTIS Mock AIME 2024-2025 Epoch能力指数(ECI)のスコア:140.19 ベンチマークのスコア:71%OTIS Mock AIME 2024-2025 Epoch能力指数(ECI)のスコア:139.94 ベンチマークのスコア:60%OTIS Mock AIME 2024-2025 Epoch能力指数(ECI)のスコア:136.30 ベンチマークのスコア:29%FrontierMath-2025-02-28-Private Epoch能力指数(ECI)のスコア:136.30 ベンチマークのスコア:4%OTIS Mock AIME 2024-2025 Epoch能力指数(ECI)のスコア:138.36 ベンチマークのスコア:42%FrontierMath-2025-02-28-Private Epoch能力指数(ECI)のスコア:138.36 ベンチマークのスコア:5%OTIS Mock AIME 2024-2025 Epoch能力指数(ECI)のスコア:134.27 ベンチマークのスコア:32%FrontierMath-2025-02-28-Private Epoch能力指数(ECI)のスコア:134.27 ベンチマークのスコア:0%OTIS Mock AIME 2024-2025 Epoch能力指数(ECI)のスコア:143.53 ベンチマークのスコア:82%FrontierMath-2025-02-28-Private Epoch能力指数(ECI)のスコア:143.53 ベンチマークのスコア:17%OTIS Mock AIME 2024-2025 Epoch能力指数(ECI)のスコア:149.63 ベンチマークのスコア:91%FrontierMath-2025-02-28-Private Epoch能力指数(ECI)のスコア:149.63 ベンチマークのスコア:27%OTIS Mock AIME 2024-2025 Epoch能力指数(ECI)のスコア:144.25 ベンチマークのスコア:84%FrontierMath-2025-02-28-Private Epoch能力指数(ECI)のスコア:144.25 ベンチマークのスコア:10%OTIS Mock AIME 2024-2025 Epoch能力指数(ECI)のスコア:134.65 ベンチマークのスコア:45%FrontierMath-2025-02-28-Private Epoch能力指数(ECI)のスコア:134.65 ベンチマークのスコア:5%OTIS Mock AIME 2024-2025 Epoch能力指数(ECI)のスコア:129.87 ベンチマークのスコア:29%FrontierMath-2025-02-28-Private Epoch能力指数(ECI)のスコア:129.87 ベンチマークのスコア:1%OTIS Mock AIME 2024-2025 Epoch能力指数(ECI)のスコア:136.25 ベンチマークのスコア:38%FrontierMath-2025-02-28-Private Epoch能力指数(ECI)のスコア:136.25 ベンチマークのスコア:6%OTIS Mock AIME 2024-2025 Epoch能力指数(ECI)のスコア:137.50 ベンチマークのスコア:62%FrontierMath-2025-02-28-Private Epoch能力指数(ECI)のスコア:137.50 ベンチマークのスコア:3%OTIS Mock AIME 2024-2025 Epoch能力指数(ECI)のスコア:128.88 ベンチマークのスコア:8%FrontierMath-2025-02-28-Private Epoch能力指数(ECI)のスコア:128.88 ベンチマークのスコア:0%OTIS Mock AIME 2024-2025 Epoch能力指数(ECI)のスコア:133.56 ベンチマークのスコア:21%FrontierMath-2025-02-28-Private Epoch能力指数(ECI)のスコア:133.56 ベンチマークのスコア:1%OTIS Mock AIME 2024-2025 Epoch能力指数(ECI)のスコア:132.57 ベンチマークのスコア:16%FrontierMath-2025-02-28-Private Epoch能力指数(ECI)のスコア:132.57 ベンチマークのスコア:1%OTIS Mock AIME 2024-2025 Epoch能力指数(ECI)のスコア:136.21 ベンチマークのスコア:38%GSM8K Epoch能力指数(ECI)のスコア:125.69 ベンチマークのスコア:92%OTIS Mock AIME 2024-2025 Epoch能力指数(ECI)のスコア:125.69 ベンチマークのスコア:1%OTIS Mock AIME 2024-2025 Epoch能力指数(ECI)のスコア:127.32 ベンチマークのスコア:6%OTIS Mock AIME 2024-2025 Epoch能力指数(ECI)のスコア:129.64 ベンチマークのスコア:20%OTIS Mock AIME 2024-2025 Epoch能力指数(ECI)のスコア:127.45 ベンチマークのスコア:4%FrontierMath-2025-02-28-Private Epoch能力指数(ECI)のスコア:127.45 ベンチマークのスコア:0%OTIS Mock AIME 2024-2025 Epoch能力指数(ECI)のスコア:139.08 ベンチマークのスコア:53%FrontierMath-2025-02-28-Private Epoch能力指数(ECI)のスコア:139.08 ベンチマークのスコア:3%OTIS Mock AIME 2024-2025 Epoch能力指数(ECI)のスコア:136.43 ベンチマークのスコア:51%OTIS Mock AIME 2024-2025 Epoch能力指数(ECI)のスコア:136.49 ベンチマークのスコア:38%OTIS Mock AIME 2024-2025 Epoch能力指数(ECI)のスコア:127.64 ベンチマークのスコア:7%OTIS Mock AIME 2024-2025 Epoch能力指数(ECI)のスコア:138.29 ベンチマークのスコア:47%FrontierMath-2025-02-28-Private Epoch能力指数(ECI)のスコア:138.29 ベンチマークのスコア:4%OTIS Mock AIME 2024-2025 Epoch能力指数(ECI)のスコア:128.48 ベンチマークのスコア:8%FrontierMath-2025-02-28-Private Epoch能力指数(ECI)のスコア:128.48 ベンチマークのスコア:0%OTIS Mock AIME 2024-2025 Epoch能力指数(ECI)のスコア:136.22 ベンチマークのスコア:22%FrontierMath-2025-02-28-Private Epoch能力指数(ECI)のスコア:136.22 ベンチマークのスコア:3%FrontierMath-2025-02-28-Private Epoch能力指数(ECI)のスコア:140.65 ベンチマークのスコア:9%OTIS Mock AIME 2024-2025 Epoch能力指数(ECI)のスコア:136.82 ベンチマークのスコア:47%FrontierMath-2025-02-28-Private Epoch能力指数(ECI)のスコア:136.82 ベンチマークのスコア:1%OTIS Mock AIME 2024-2025 Epoch能力指数(ECI)のスコア:140.49 ベンチマークのスコア:77%FrontierMath-2025-02-28-Private Epoch能力指数(ECI)のスコア:140.49 ベンチマークのスコア:11%OTIS Mock AIME 2024-2025 Epoch能力指数(ECI)のスコア:135.44 ベンチマークのスコア:58%OTIS Mock AIME 2024-2025 Epoch能力指数(ECI)のスコア:134.61 ベンチマークのスコア:31%FrontierMath-2025-02-28-Private Epoch能力指数(ECI)のスコア:134.61 ベンチマークのスコア:2%OTIS Mock AIME 2024-2025 Epoch能力指数(ECI)のスコア:129.08 ベンチマークのスコア:6%FrontierMath-2025-02-28-Private Epoch能力指数(ECI)のスコア:129.08 ベンチマークのスコア:0%OTIS Mock AIME 2024-2025 Epoch能力指数(ECI)のスコア:130.10 ベンチマークのスコア:14%OTIS Mock AIME 2024-2025 Epoch能力指数(ECI)のスコア:138.58 ベンチマークのスコア:64%FrontierMath-2025-02-28-Private Epoch能力指数(ECI)のスコア:138.58 ベンチマークのスコア:8%OTIS Mock AIME 2024-2025 Epoch能力指数(ECI)のスコア:142.50 ベンチマークのスコア:78%FrontierMath-2025-02-28-Private Epoch能力指数(ECI)のスコア:142.50 ベンチマークのスコア:10%OTIS Mock AIME 2024-2025 Epoch能力指数(ECI)のスコア:126.74 ベンチマークのスコア:5%OTIS Mock AIME 2024-2025 Epoch能力指数(ECI)のスコア:128.44 ベンチマークのスコア:7%GSM8K Epoch能力指数(ECI)のスコア:121.98 ベンチマークのスコア:82%OTIS Mock AIME 2024-2025 Epoch能力指数(ECI)のスコア:121.98 ベンチマークのスコア:4%OTIS Mock AIME 2024-2025 Epoch能力指数(ECI)のスコア:119.94 ベンチマークのスコア:3%OTIS Mock AIME 2024-2025 Epoch能力指数(ECI)のスコア:126.74 ベンチマークのスコア:5%OTIS Mock AIME 2024-2025 Epoch能力指数(ECI)のスコア:135.37 ベンチマークのスコア:45%FrontierMath-2025-02-28-Private Epoch能力指数(ECI)のスコア:135.37 ベンチマークのスコア:2%OTIS Mock AIME 2024-2025 Epoch能力指数(ECI)のスコア:129.03 ベンチマークのスコア:6%FrontierMath-2025-02-28-Private Epoch能力指数(ECI)のスコア:129.03 ベンチマークのスコア:0%OTIS Mock AIME 2024-2025 Epoch能力指数(ECI)のスコア:134.67 ベンチマークのスコア:31%OTIS Mock AIME 2024-2025 Epoch能力指数(ECI)のスコア:120.07 ベンチマークのスコア:3%OTIS Mock AIME 2024-2025 Epoch能力指数(ECI)のスコア:133.59 ベンチマークのスコア:9%FrontierMath-2025-02-28-Private Epoch能力指数(ECI)のスコア:133.59 ベンチマークのスコア:2%OTIS Mock AIME 2024-2025 Epoch能力指数(ECI)のスコア:122.79 ベンチマークのスコア:1%OTIS Mock AIME 2024-2025 Epoch能力指数(ECI)のスコア:117.85 ベンチマークのスコア:2%OTIS Mock AIME 2024-2025 Epoch能力指数(ECI)のスコア:130.00 ベンチマークのスコア:7%FrontierMath-2025-02-28-Private Epoch能力指数(ECI)のスコア:130.00 ベンチマークのスコア:1%OTIS Mock AIME 2024-2025 Epoch能力指数(ECI)のスコア:128.38 ベンチマークのスコア:6%OTIS Mock AIME 2024-2025 Epoch能力指数(ECI)のスコア:129.76 ベンチマークのスコア:16%FrontierMath-2025-02-28-Private Epoch能力指数(ECI)のスコア:129.76 ベンチマークのスコア:0%GSM8K Epoch能力指数(ECI)のスコア:122.18 ベンチマークのスコア:90%OTIS Mock AIME 2024-2025 Epoch能力指数(ECI)のスコア:122.18 ベンチマークのスコア:1%OTIS Mock AIME 2024-2025 Epoch能力指数(ECI)のスコア:119.28 ベンチマークのスコア:1%OTIS Mock AIME 2024-2025 Epoch能力指数(ECI)のスコア:126.39 ベンチマークのスコア:7%GSM8K Epoch能力指数(ECI)のスコア:126.07 ベンチマークのスコア:91%OTIS Mock AIME 2024-2025 Epoch能力指数(ECI)のスコア:126.07 ベンチマークのスコア:7%OTIS Mock AIME 2024-2025 Epoch能力指数(ECI)のスコア:140.77 ベンチマークのスコア:73%OTIS Mock AIME 2024-2025 Epoch能力指数(ECI)のスコア:132.33 ベンチマークのスコア:23%GSM8K Epoch能力指数(ECI)のスコア:115.59 ベンチマークのスコア:82%OTIS Mock AIME 2024-2025 Epoch能力指数(ECI)のスコア:115.59 ベンチマークのスコア:3%OTIS Mock AIME 2024-2025 Epoch能力指数(ECI)のスコア:125.57 ベンチマークのスコア:4%OTIS Mock AIME 2024-2025 Epoch能力指数(ECI)のスコア:128.07 ベンチマークのスコア:10%OTIS Mock AIME 2024-2025 Epoch能力指数(ECI)のスコア:130.29 ベンチマークのスコア:12%FrontierMath-2025-02-28-Private Epoch能力指数(ECI)のスコア:130.29 ベンチマークのスコア:1%OTIS Mock AIME 2024-2025 Epoch能力指数(ECI)のスコア:121.84 ベンチマークのスコア:4%OTIS Mock AIME 2024-2025 Epoch能力指数(ECI)のスコア:116.40 ベンチマークのスコア:1%OTIS Mock AIME 2024-2025 Epoch能力指数(ECI)のスコア:129.69 ベンチマークのスコア:8%OTIS Mock AIME 2024-2025 Epoch能力指数(ECI)のスコア:138.07 ベンチマークのスコア:36%FrontierMath-2025-02-28-Private Epoch能力指数(ECI)のスコア:138.07 ベンチマークのスコア:5%OTIS Mock AIME 2024-2025 Epoch能力指数(ECI)のスコア:117.23 ベンチマークのスコア:1%OTIS Mock AIME 2024-2025 Epoch能力指数(ECI)のスコア:127.36 ベンチマークのスコア:9%OTIS Mock AIME 2024-2025 Epoch能力指数(ECI)のスコア:125.44 ベンチマークのスコア:3%OTIS Mock AIME 2024-2025 Epoch能力指数(ECI)のスコア:127.46 ベンチマークのスコア:5%OTIS Mock AIME 2024-2025 Epoch能力指数(ECI)のスコア:140.83 ベンチマークのスコア:73%OTIS Mock AIME 2024-2025 Epoch能力指数(ECI)のスコア:132.39 ベンチマークのスコア:16%FrontierMath-2025-02-28-Private Epoch能力指数(ECI)のスコア:132.39 ベンチマークのスコア:2%OTIS Mock AIME 2024-2025 Epoch能力指数(ECI)のスコア:145.90 ベンチマークのスコア:84%FrontierMath-2025-02-28-Private Epoch能力指数(ECI)のスコア:145.90 ベンチマークのスコア:12%FrontierMath-2025-02-28-Private Epoch能力指数(ECI)のスコア:141.89 ベンチマークのスコア:19%FrontierMath-2025-02-28-Private Epoch能力指数(ECI)のスコア:144.14 ベンチマークのスコア:10%点は各モデルのECIスコアと実際のベンチマークスコア。原図ではECIスコアから予測されるベンチマークの期待性能を曲線で、その90%信頼区間を網掛けで示しているが、この曲線の値は公開データに含まれないため再作図では省いた。出典:Epoch AI(CC BY 4.0)・作図:AGI Hubepoch.ai

ECIは抽象的な尺度を用いるが、個々のベンチマークでの期待性能を計算すればスコアを解釈できる。上のグラフでは、GSM8K、OTIS Mock AIME 2024-2025、FrontierMath Tier 1-3について、さまざまなECIの値に対するベンチマークの期待性能を示している。

このグラフについて詳しく

Epoch能力指数(ECI)のスコアを解釈する方法の1つは、ECIスコアだけに基づいて個々のベンチマークでの期待性能を計算することである。難易度が大きく異なる3つのベンチマーク、GSM8K、OTIS Mock AIME 2024-2025、FrontierMath Tier 1-3について、この関係をプロットした。網掛けの領域で90%信頼区間も示している。

データ(原文・英語)

← データインサイト一覧へ

非公式の日本語訳公式ページ(英語):epoch.ai/data-insights/interpreting-eci