AIのスケーリング

AIの進歩の物語は、規模の拡大が主役である。AIシステムの学習に使う計算資源、電力、データを増やすと、一貫して性能が向上してきた。Epochは、AIシステムの学習に使われる資源の規模拡大と、それが能力とAIの未来にとって何を意味するかを追跡している。

Epochの研究は、学習計算量の傾向、データの入手可能性、スケーリング則、ハードウェアの制約、そしてスケーリングがこの10年の終わりまで続けられるかという問いを扱っている。

• データAIモデル
• データインサイト主要なAIモデルの学習計算量は、およそ6か月ごとに倍増している
  
• レポートAIのスケーリングは2030年まで続けられるか？
  
• レポート長いコンテキストでのレイテンシは、GPT-5.6では二次関数的に増えるが、Claude 5ではほぼ線形にとどまる

  Epoch AIは、4つのフロンティアモデルについて、長いコンテキストでのレイテンシの伸び方を測定した。GPT-5.6のTerraとSolでは、最初のトークンが出るまでの時間がコンテキスト長に対して二次関数的に伸びるのに対し、Claude Sonnet 5とOpus 5ではほぼ線形にとどまる。

  
• データインサイト単一データセンターの計算能力の記録は7か月ごとに倍増している

  2024年8月にColossus 1が稼働して以来、最大のAIデータセンターの記録は7か月ごとに倍増している。2028年までの単一拠点の計算能力の傾向を、Epoch AIが内訳を示して分析する。

  
• ニュースレター計算資源の逼迫は迫っているのか？

  世界の推論実行の能力の傾向を推定したところ、トークンの需要は供給よりはるかに速く伸びているようだと分かった。

  
• ニュースレターフロンティアラボはAI計算資源の大半を（まだ）使っていない

  OpenAI、Anthropic、xAIは、AIブームの火付け役でありながら、2025年に世界のAI計算資源の20〜30%しか使っていなかった。フロンティアラボの計算資源の配分と、2027年までの成長の見通しを、Epoch AIが分析する。

  
• レポートロボットの生産はどれほど速く拡大しうるか？

  参照クラス、工場建設の期間、上流の部品供給を調べ、人型ロボット、四足歩行ロボット、ロボットアーム、車輪型ロボット、ドローンの生産ペースとしてありうる水準を推定する。

  
• データインサイトAIチップのメモリ帯域幅の総計は年4.1倍で伸び、現在は毎秒7,000万テラバイトに達している

  2025年第4四半期時点で、世界のAIチップ全体のメモリ帯域幅はおよそ毎秒7,000万テラバイトに達した。これは、インターネット上に保存されているすべてのデータを1時間以内にメモリへ流し込めるほどの量である。

  
• ニュースレター研究開発の計算資源支出のうち、最終学習実行が占めるのは少数派である

  MiniMaxとZ.aiの新規株式公開（IPO）で得られた新たな証拠

  
• ニュースレターAI進歩の原動力のうち、最も理解されていないもの

  「アルゴリズムの進歩」と、それがなぜ重要なのかについての、主張を込めた手引き

  
• ニュースレター推論実行のコスト負担はどれほど続くのか？

  Toby Ordは、強化学習（RL）のスケーリングは主に推論実行のコストを押し上げ、経済的な負担を長く残すと論じている。この捉え方は有用だが、一定の能力水準に達するためのコストは急速に下がっており、RLのスケーリングに関するデータは乏しい。