計算量のしきい値を超えるAIモデルはいくつになるのか？

要旨

AIモデルの学習に使われる計算量は、AIの進歩を動かしてきた主要な要因であり、AIの将来の能力に関する多くの予測の根拠になってきた。しかし、さまざまな計算量の水準を超えるAIモデルの数には、あまり注意が払われてこなかった。この数は、計算量に基づくAI規制や、より広くAIの開発と展開に関わる。私たちは、投資額や計算量の分布といった主要な入力を、注目すべきAIモデルの数に結びつける予測モデルを開発した。注目すべきAIモデルとは、最高水準（SOTA）であるもの、引用数が非常に多いもの、あるいはその他の点で歴史的に注目に値するモデルを指す。予測結果は、新しいインタラクティブツールで詳しく見ることができる。

注目すべきAIモデルの累計数の推移各年の新しい注目すべきAIモデルの数

私たちのモデルによれば、ある計算量のしきい値を超える注目すべきAIモデルの数は、時間とともに急速に加速していく。たとえば、私たちのデータセットで10²⁶ FLOPを超える計算量を使ったと推定される最初のモデルは、2025年2月に公開されたxAIのGrok-3だった。現在の傾向を外挿すると、そのようなモデルは2027年初めまでに約30個、2030年初めまでに200個を超える。計算量のしきい値を引き上げればモデル数は大幅に減るが、それでも急速な増加は変わらない。

これらの数は、新たな学習を伴い、ある計算量のしきい値を超える注目すべきモデルを対象にしている。基になっているのは、公表された注目すべきモデルのうち学習計算量を推定できるものを集めた私たちのデータセットで、これはAIモデル全体の一部にすぎない。現時点の10²³ FLOPのように、最先端（フロンティア）を大きく下回るしきい値では、公開されたモデルの総数は私たちの予測の4倍に達することも十分ありうる（データセットと収録基準を参照）。

2030年までにありうるモデル数の幅を示すため、中央値に加えて「保守的」と「積極的」という2つの代替シナリオを作成した。これらのシナリオは、最大の学習に対する投資額、年間のモデル総数、最大の学習に近いモデルの数という3つの入力で定義される。それぞれの入力について、過去の変動、現在のAIへの支出、スケーリングのボトルネックになりうる要因といった根拠に基づき、現在の傾向が変わりうる両極端を想定した（AIへの投資とモデル開発に基づくシナリオを参照）。保守的シナリオと積極的シナリオでは、2027年までに10²⁶ FLOPを超える注目すべきモデルはそれぞれ約10個と約80個と予測される。これは私たちの不確実性の大きさを示す一方で、モデル数が急速に増える可能性が高いことを裏づけている。

学習計算量のしきい値は、たとえばEU AI法のように、高度なAIを規制する仕組みとして使われてきた。私たちの結果は、学習計算量のしきい値に基づく規制はどれも、該当する多数のモデルに対処するか、しきい値を時間とともに引き上げる必要があることを示している。

はじめに

AIモデルの学習に使われる計算量は、その能力を測る有用な代理指標である。このことは、学習計算量とAIベンチマークの成績の関係から明らかだ。学習計算量のしきい値が、注視すべきAIモデルを特定するためにますます使われるようになっている理由の一つはここにある。たとえばEU AI法は、「システミックリスク」をもたらすモデルを特定するために10²⁵回の浮動小数点演算（FLOP）というしきい値を使っている。Epoch AIでは、10²³ FLOPと10²⁵ FLOPを超えるモデルを追跡してきた。しかし、将来どれだけの数のAIモデルが各しきい値を超えて学習されるかの分析は、いまだに乏しい。¹

本研究は、学習計算量の傾向についての研究と、AIモデルの数をめぐる不確実性との間の溝を埋める助けになる。そのために、AI開発の主要な入力を、学習計算量の各水準にあるAIモデルの数に結びつける予測モデルを用いる。投資額や、AIの最先端付近への集中度といった主要な入力の過去の傾向を踏まえ、このモデルを将来のAI開発に関する3つの異なるシナリオに適用する。これらのシナリオは、今後数年で計算量のしきい値を超えるモデルの数について、ありうる結果の幅を示している。

この分析は、規制手段としての学習計算量のしきい値が実際に機能するかを判断する材料となり、AIのエコシステムがどれほど大きく流動的になるかを考える根拠にもなる。たとえば結果からは、10²⁶ FLOPを超えるモデルの総数が、2025年の数個から2030年までに200個超へと急速に増えることがうかがえる。これほど急速に増える数では、数年後には規制のしきい値として運用するのが難しくなるかもしれない。

本レポートの残りの部分では、予測モデル、シナリオ、結果をさらに詳しく説明する。「方法」の節では、どのモデルを分析の対象にしたか、AI開発の3つのシナリオをどのように作成したかを明らかにする。「結果」の節では、計算量のしきい値ごとに予測を時系列で示し、モデルの予測の検証もいくつか行う。最後に、より広い限界と今後の研究課題を論じる。

方法

概要

私たちの目的は、過去の傾向と、AIへの投資や開発の動向に関するさまざまなシナリオに基づいて、特定の学習計算量のしきい値を超える注目すべきAIモデルの数を予測することである。これまでの研究は主に学習計算量の傾向を扱っており、ある計算量の水準に達するモデルの数については何も予測していなかった。本研究はこの点で異なる。特に、ある計算量のしきい値を何回の学習が超えるかのモデル化に重点を置く。

将来のモデルの学習計算量を予測するため、AIモデルの生産を表1に挙げる6つの主要な入力に分解する。この分解により、AI開発のさまざまなシナリオが、結果として生じるモデルの学習計算量の分布にどう影響するかを調べることができる。本研究では3つのシナリオをモデル化する。最近の傾向が続く中央値シナリオと、将来の開発の軌道としてありうる両極端を反映した積極的シナリオと保守的シナリオである。これらのシナリオについては、AIへの投資とモデル開発に基づくシナリオでさらに論じる。

入力	説明	シナリオ間で変えるか
最大の学習に対する投資額	計算クラスターのハードウェア取得費用	はい
最大の学習に近いモデルの数	最大の学習の計算量の10%超を使ったモデル。過去の計算量分布の調整に使う	はい
年間のモデル総数	毎年公開される注目すべきAIモデル	はい
ハードウェアの価格性能比	最大の学習で使われたハードウェアが達成する1ドルあたりのFLOP/s	いいえ
学習期間	最大の学習が続く期間	いいえ
AIモデル間の計算量の分布	モデル間の学習計算量の過去の分布	いいえ

表1：予測モデルへの6つの主要な入力。シナリオ間で変えない入力も確率的にモデル化しており、予測の信頼区間に反映されている。

図3は、6つの主要な入力に基づいてAIモデルの数を予測する私たちの手法を示している。まず、学習用ハードウェアへの投資額、ハードウェアの価格性能比、学習期間の推定値を組み合わせて、将来の各年における最大の学習の学習計算量を予測する。モデル化する開発シナリオの違いは、これらのパラメータの将来の伸びの見込みを変えることで表す。

次に、学習計算量が各モデルにどう配分されるかをモデル化する。この配分は過去の学習計算量の分布に従い、計算量の最先端付近に集まると見込まれるモデルの数に基づいて調整する。この入力についても、シナリオは最近の傾向と、傾向からのありうる逸脱を踏まえて作成した。そのうえで、毎年開発される注目すべきAIモデルの総数を外挿する。

最後に、予測したモデル総数に従って、予測した学習計算量の分布からサンプルを抽出する。このサンプリングによって、各シナリオのもとで10²⁶ FLOPなどの特定の計算量のしきい値を超えるモデルがいくつになるかを求めることができる。

この節の残りでは、次の内容を扱う。(1) 過去の傾向の分析に使い、対象とするモデルの範囲を定めるデータセット、(2) これらの傾向に基づく3つのAI開発シナリオと、それが示すAIモデル数のありうる結果の幅、(3) 6つの主要な入力の定義（3つはシナリオ間で変え、3つは固定する）、(4) 予測の感度分析、(5) 予測モデルの限界。

データセットと収録基準

予測の基礎として、Epochの注目すべきAIモデルのデータセットの過去のデータを使う。このデータセットは、引用数が多い、学習費用が大きい、広く使われている、最高水準の性能を持つ、歴史的に重要である、という注目度の基準のいずれかを満たすAIモデルを集めている。² そのうえで、可能な範囲で、学習計算量、著者、日付など、開発に関する多くの重要な詳細を記録している。このデータセットはこれまでにも、学習計算量、費用など、AI開発における重要な要因の傾向を調べるのに使われてきた。

このデータセットを使い、ある計算量のしきい値を超える独自の学習を伴う注目すべきAIモデルの数を予測する。つまり、事後学習は別個に数えない。たとえばGPT-4oは1つのモデルとして数え、DeepSeek-R1とDeepSeek-V3は合わせて1つのモデルとして数える。R1はV3から事後学習されたものだからである。これにより、追跡が難しく、数が非常に多くなりうる事後学習の派生モデルを数えずに済むが、そうした派生モデルの中にはそれ自体として重要なものもありうる。また、展開された派生モデルをそれぞれ別個に数える政策の枠組みがあれば、この定義はそれよりも狭いかもしれない。³

私たちのデータセットはすべてのAIモデルを網羅できるわけではないので、実際にどのようなモデルの集団を対象としているか、そしてそれが予測にどう影響しうるかを考えておくことも重要である。考慮すべき主な点は3つあり、以下で説明する。

データセットに収録されるには、AIモデルが公に知られている必要がある。 そのため、データには報告の遅れが生じやすい。学習が行われてからしばらくたって、公表や公開が行われるからである。一度も公表されていないモデルは収録されない。一般に、ある時点で開発された最大級のAIモデルは公に知られている可能性が高いが、より小さなAIモデルはそうとは限らない。

収録の対象となるには、AIモデルが注目度の基準を満たす必要がある。 実際には、これは小さなAIモデルほど網羅率が低くなることを意味する可能性が高い。たとえば、現時点で10²³ FLOPを超えている可能性が高いモデルは少なくとも324個あるが、そのうち注目すべきモデルとされているのは156個だけである。このことから、最先端から3桁以上離れたモデルについては、私たちの予測はその一部しか捉えていない可能性が高い。

注目すべきモデルの中には学習計算量を報告していないものがあり、そうしたモデルはデータセットに学習計算量の値がない。 ただし、注目すべきモデルをすべて含めても、予測への影響は比較的小さい。確かに、注目すべきベースモデルの年間総数は、学習計算量の値が分かっているモデルの総数より多い（たとえば2023年は70個対44個）。しかし前者のほうが伸びは遅く、2010年以降の年間の伸び率は12%対18%である。この結果、外挿すると2025年には88個対61個、2030年には155個対140個となる。この2つの外挿の差は、AI開発の「保守的」シナリオと「積極的」シナリオの差よりはるかに小さい。

要するに、これらの予測は特定の参照クラス、すなわち「ある計算量のしきい値を超える新たな学習を伴い、公開後に仮に注目すべきモデルのデータセットに収録されるであろうAIモデル」を対象としたものと理解するのが最もよい。この集団を予測すれば、あるしきい値におけるモデル数が時間とともに増えていく基本的な動態は捉えられるはずである。ただし、事後学習による派生モデルについての予測にはさらなる調査が必要であり、本研究の範囲外とする。

AIへの投資とモデル開発に基づくシナリオ

AIモデル数のありうる結果の幅を示すため、予測モデルを将来のAIモデル開発に関する3つのシナリオに適用する。これらのシナリオは、6つの主要な入力のうち次の3つを使って定義する。詳細は後の節で述べる。

1. 最大の学習に対する投資額。 この入力は、ある年の最大の学習の規模に直接影響する。予測モデルでこの入力を増やすと、すべてのモデル数がより高い学習計算量のしきい値の側へ移る。
2. 年間のモデル総数。 学習計算量のあらゆる水準にわたって、毎年公開される注目すべきAIモデルの数である。この数を増やすことはAIのエコシステムがより大きいことを表し、学習計算量のどのしきい値でもモデル数が増える。
3. 最大の学習に近いAIモデルの数。 最大の学習の学習計算量の10%超を使った注目すべきAIモデルの数である。この数を増やすことは最先端付近への計算量の集中度が低いことを表し、モデルが低いしきい値から高いしきい値の側へ移る。

これら3つの入力でシナリオを定義したのは、解釈しやすく、実証データの裏づけがあり、予測への影響が比較的大きいからである（感度分析を参照）。予測へのほかの3つの入力は固定した。ハードウェアの価格性能比と学習期間は予測への影響がはるかに小さく、AIモデル間の計算量の分布は解釈しにくいからである。ただし、これら3つの入力の不確実性も、各シナリオの信頼区間には反映されている。

3つのシナリオを設計するにあたり、まず学習費用など、入力に関わる過去の傾向から出発した。次に、2030年までの計算量のスケーリングに対する制約となりうる要因についての先行研究のモデルを検討し、今後傾向がどう変わりうるかを考えた。最先端のAI企業が発表したインフラ計画も軌道の設定に反映した。こうした根拠に基づいてシナリオの試作版を作った後、予測されたすべての学習を合わせた総資源量について妥当性チェックを行った。その結果、中央値シナリオと積極的シナリオでは2030年に必要となる総電力需要が不合理なほど大きくなることが分かったため、最終的なシナリオでは投資額の入力を引き下げた。この妥当性チェックの詳細は付録Aにある。

シナリオのための最後の情報源として、2025年3月24日にEpoch AIのスタッフ13人から主観的な予測を集めた。スタッフには、2028年の最大の学習に対する投資額と、2027年の最大の学習に近いAIモデルの数について、中央値と[10パーセンタイル, 90パーセンタイル]の予測を尋ねた。私たちがこの2つの入力に選んだ軌道は、スタッフの予測の平均とおおむね重なっており、シナリオが研究者の判断と整合していることを示している。

「中央値」シナリオは、3つの入力の過去の傾向を2030年までそのまま外挿したもので、これが私たちの中央値の予測になる。投資額、ハードウェアの効率、学習期間の伸びによって、学習計算量の年4.6倍という傾向が維持されると仮定する。その結果、2030年までに2,000億ドルの学習クラスターが生まれる。年間のAIモデル総数は年18%で伸び続け、最大の学習に近いモデルの数はそれより遅い年11%で伸び続ける。これらの入力からは、2030年までに10²⁶ FLOPを超えるモデルが235個になると予測される。2030年以降は、電力とチップ製造の拡充における制約のため、投資の伸びが鈍る。

ほかの2つのシナリオは、計算量のしきい値を超えるモデル数について、ありうる両極端を表している。「保守的」シナリオは、今後2年間のAIの進歩が期待を下回ると仮定する。すでに建設中のハードウェアクラスターは完成するが、その後は投資が頭打ちになり、2030年までに1つのハードウェアクラスターで300億ドルに達する。⁴ さらに、この水準の投資を続けられるAI開発企業は1社か2社にとどまり、毎年最先端付近のモデルは3個だけになる。⁵ この保守的シナリオでは、2030年までに10²⁶ FLOPを超えるモデルは61個と予測される。

これに対し積極的シナリオは、今後数年間のAI開発が大きな利益を生み、しかも広く分散すると仮定する。このシナリオでは、2030年までに10²⁶ FLOPを超えるモデルが528個と予測される。AIの進歩の加速を背景に投資が急拡大するが、それでも電力供給と利用可能な資本に制約され、2030年までに最大のハードウェアクラスターで約1兆ドルに達する。投資はモデル間でもより分散し、2030年には最先端付近のモデルが50個を超え、注目すべきモデルの総数は300個を超える。

以下の3つの節で、各シナリオの入力をどう定義したかをさらに詳しく説明する。

最大の学習に対する投資額

各年の最大の学習に対する投資額は、ハードウェア取得費用、すなわち計算クラスターのGPU、その他のサーバーハードウェア、スイッチ、ケーブルにかかる初期の資本費用として測る。予測モデルでは、この投資額を増やすと、すべてのモデル数がより高い学習計算量のしきい値の側へ移る。AI開発の各シナリオにおける投資額の軌道を図4に示し、表2で説明する。

シナリオ	2030年の値	こうなりうる理由
中央値	2,000億ドル	過去の傾向は年約3倍である。6 最近は売上高も同程度のペースで伸びているため、この傾向は2030年まで続きうるし、実際に続くと予想する。7 2030年以降は、スケーリングが電力とチップの供給に制約されるため、投資の伸びは年20%に鈍化する（分析は妥当性チェックの節を参照）。
保守的	300億ドル	すでに建設中のクラスター（100億ドル規模）は使われるが、AIの進歩が期待外れであるなどの理由で、それより大きな学習は行われない。8 その後、投資は頭打ちになる。
積極的	1兆ドル	投資家は、AIによる広範な自動化が目前に迫っていると確信し、10年以内にAIから数兆ドルの売上高が生まれると見込む。最先端のAI企業が煩雑な規制手続きを回避することで、インフラは予想より速く建設される。9 これにより、2030年までに1兆ドルのクラスターが実現する。その後、電力の制約のため投資の伸びは年30%に鈍化する。10

表2：AI開発の各シナリオにおける投資額の入力の概要と根拠。

年間のモデル総数

「年間のモデル総数」の入力は、学習計算量のあらゆる規模にわたって、各年に公開される注目すべきAIモデルの数を表す。この入力の予測は、学習計算量の推定値が分かっている注目すべきモデルの数に基づいている。この数を増やすことはAIのエコシステムがより大きいことを表し、学習計算量のどのしきい値でもモデル数が増える。AI開発の各シナリオにおけるモデル数の軌道を図5に示し、表3で説明する。

シナリオ	2030年の値	こうなりうる理由
中央値	162個	学習計算量の推定値がある注目すべきAIモデルの数の、2010年以降の年18%の伸びを外挿したもの。
保守的	68個	代わりに、毎年の新規モデル数が3〜4個ずつ増える線形の傾向を外挿したもの。2010〜2024年の過去のデータには、この傾向のほうが指数関数よりわずかによく当てはまる。11
積極的	310個	過去のデータでは、この数は2021年以降わずかに減少している。この減少はすべて報告の遅れによるものと仮定し、12 2010〜2021年の年25%の伸びを外挿したもの。

表3：AI開発の各シナリオにおける年間のモデル総数の概要と根拠。

最大の学習に近いモデルの数

「最大の学習に近いモデルの数」の入力は、最大の学習の学習計算量の10%超を使った注目すべきAIモデルの数を表す。この数を増やすことは最先端付近への計算量の集中度が低いことを表し、モデルが低いしきい値から高いしきい値の側へ移る。AI開発の各シナリオにおけるモデル数の軌道を図6に示し、表4で説明する。

シナリオ	2030年の値	こうなりうる理由
中央値	11個	2010年以降の過去の数の、年11%の伸びを外挿したもの。注目すべきモデルの総数は年20%とより速く伸びてきたので、相対的に見れば、最大の学習への計算量の集中は時間とともにわずかに弱まっている。
保守的	3個	過去の傾向は弱いため、過去の中央値である3個は、どの年についても妥当な予測である。この場合、最大の学習付近への計算量の集中度は高くなる。13
積極的	56個	この数は、「積極的」シナリオのモデル総数の一定割合18%として伸びる。14 これは、2019年から2024年にかけて見られた数の急増により合致している。最先端付近のモデルが多いため、最大の学習への計算量の集中は時間とともにますます弱まり、AIのエコシステムは分散したものになる。

表4：AI開発の各シナリオにおける最大の学習に近いモデルの数の概要と根拠。

AIモデル間の計算量の分布

将来のAIモデルに学習計算量がどう配分されるかを予測するため、最大の学習に対する相対的な計算量の過去の分布を使う。この計算量の分布は、2010年から現在までかなり一貫したパターンを示している。AI開発の分布は裾が重く、計算量の最先端にあるモデルはごく少数で、多くのモデルはそれより少ない計算量で学習されている。

しかし、競争、計算資源へのアクセス、AI開発企業の戦略的判断といった要因によって、最先端付近のモデルの数は時間とともに変わると考える理由がある。これを考慮するため、最大の学習に近いモデルの数を、最近の傾向を踏まえたシナリオの主要な入力の一つとして変えられるようにした。そのためには、過去の分布の全体的な形を保ちつつ、将来の変化を反映するように修正する必要がある。

出発点とする分布は、2010〜2024年の値を正規化したヒストグラムで（図7）、各値は最大の学習に対する割合として表している。この過去の全期間を選んだのは、単純さのためであり、また分布の形に年ごとの明確な傾向が見られなかったからである。ただし、分布の形は年によって大きく異なる。とりわけ違いの大きい年（2010年と2017年）の分布を使うと、予測されるモデル数は最大で2倍変わりうる。

次に、モデル総数を保ったまま、指定した数のモデルが最大の学習の近くに来るようにこの分布の形を変える（図8）。これにより、最先端そのものを変えずに、計算量の規模の間でモデルを配分し直す。

ハードウェアの価格性能比

モデルへのもう一つの主要な入力は、図9に示すハードウェアの価格性能比である。この入力は、最大の学習で使われるハードウェアが達成する1ドルあたりのFLOP/sを表す。これを投資額の入力と組み合わせて、各年の最大の学習が達成する総FLOP/sを求める。

予測ではNVIDIA H100 GPUを出発点とし、ハードウェアの効率とハードウェア価格の別々の傾向を組み合わせる。NVIDIA H100が初めて入手可能になったのは2022年9月だが、このハードウェアでAIモデルが学習され、公開されるまでの遅れを考慮して、2023年7月に位置づける。¹⁵ この時点でH100が達成しうるピーク性能の80%信頼区間は、990e12 FLOP/s（16ビット精度に相当）から1,979e12 FLOP/s（8ビット精度）である。利用率は、過去のデータにある値の範囲に基づいて20〜60%と仮定する。

ハードウェアの性能は、主要な機械学習用ハードウェアの性能の過去の傾向に基づき、年約1.4倍で外挿する。年1.3〜1.6倍という信頼区間は、この傾向の不確実性と、8ビット、さらには4ビット精度への移行がもしあった場合の性能向上の可能性を考慮したものである。価格性能比は、性能をハードウェアの購入価格で割って求める。購入価格はH100で約2万4,000〜4万8,000ドルから始まり、これにはチップあたりのサーバーとネットワークの費用が含まれる。この価格は、こちらのデータハブで報告されている機械学習用ハードウェアの価格の過去の傾向に基づき、年1.0〜1.2倍で上がる（Cerebras CS-2とCS-3は外れ値として除外）。その結果、価格性能比の予測は中央値のケースで年1.3倍で伸びる。これは、先行研究の推定値である年1.4倍（倍増期間2.1年として報告）に近い。

学習期間

予測モデルへの6つ目、つまり最後の主要な入力は、図10に示す学習期間である。この入力は、最大の学習がどれだけの期間続くかを表す。これを投資額とハードウェアの価格性能比の入力と組み合わせて、各年の最大の学習の計算量を求める。

予測では、Grok-3やGPT-4といった最近のデータ点に基づき、100日を出発点とする。10パーセンタイルの予測は、より優れたモデルを頻繁に公開しなければならない競争圧力のため、最先端の学習期間がこの長さにとどまると仮定する。90パーセンタイルの予測は、過去の傾向の90パーセンタイルに基づき、当初は年31%で伸び、2030年以降は約9か月で頭打ちになると仮定する。この9か月という上限は、AI開発企業が1ドルあたりの性能を最大にするように学習のタイミングを最適化すると仮定した場合の推定上限である。中央値の軌道は、これらのパーセンタイルを持つ対数正規分布を仮定して計算しており、当初は年約13%で伸びる。

感度分析

モデルの頑健性を評価し、より慎重な分析に値する入力を特定するため、感度分析を行った。感度は、ほかの入力を一定に保ったまま、1つの入力を両極端の値（「保守的」と「積極的」のシナリオの値、または10パーセンタイルと90パーセンタイル）の間で変えて測った。そのうえで、10²⁶ FLOPを超えると予測されるモデル数の相対的な変化を計算した。相対的な変化を図11に示す。これは、結果が各入力にどれだけ敏感かを表している。

当初、予測は最大の学習に近いモデルの数に非常に敏感だが、2030年までにこの入力は比較的重要でなくなる。感度分析は10²⁶ FLOPを超えるモデル数だけを対象にしているからである。2028年以降は、3つのシナリオのいずれでも学習計算量の最先端がこの水準をはるかに超えると予測されるため、10²⁶ FLOPを超えるモデルのほとんどは最先端の近くにはない。

予測がより一貫して敏感なのは、モデル間の計算量の分布と、AIモデルの総数である。前者はモデルが計算量のしきい値の間にどう広がるかを決め、後者は分布から何個のモデルをサンプリングするかを決める。10²⁶ FLOPという計算量の水準は、2025年の最先端から2030年には平均的な水準へと移るため、モデル総数の不確実性が10²⁶ FLOPを超えるモデル数に与える影響は時間とともに大きくなる。投資額の入力も結果に大きく影響するが、その度合いはこれらより小さい。投資額は計算量の分布ほど感度が高くないが、それでもシナリオ間で変える入力に選んだのは、単一の値として定義・解釈しやすいからである。

最後に、感度分析からは、ハードウェアの効率と学習時間が、投資額と比べても予測にとって重要でないことが分かる。ハードウェアの効率と学習時間の不確実性は3〜10倍の幅にとどまるのに対し、投資額の不確実性ははるかに広く、2030年には約300倍の幅に及ぶからである。

限界

予測モデルの入力と仕組みを説明したところで、その限界をいくつか論じる。

注目すべきモデルとすべてのモデル： 私たちは、学習計算量の推定値がある注目すべきAIモデルの数から外挿している。大まかに言えば、注目すべきモデルとは、新たな最高水準を打ち立てたもの、AIの歴史に大きな影響を与えたもの、あるいは世界に大きな影響を与えたもののいずれかである。定義上、学習計算量の最先端付近のモデルは注目すべきモデルになりやすく、データセットでよく網羅されている。しかし、最先端を大きく下回るモデルは注目すべきモデルになりにくい。たとえば、現時点で10²³ FLOPを超えている可能性が高いモデルは少なくとも324個あるが、そのうち注目すべきモデルで、かつ具体的な学習計算量の推定値があるのは84個だけである。このことから、計算量の最先端から2〜3桁下では、注目すべきモデルについての私たちの予測は、モデルの総数の4分の1以下になりうると考えられる。これは定性的な結論にはほとんど影響しないが、ある年の計算量の最先端を下回る結果を見るときには考慮すべき重要な点である。

計算量の過去の分布： 学習間の計算量の分布は、2010年以降の過去のデータに基づいてモデル化している。最先端への計算量の集中度については、最近の傾向に基づいて調整できるようにした。これにより計算量の分布についてさまざまなシナリオをシミュレーションできるが、比較的大まかなものである。これらの仮定はバックテストではかなりよく当てはまったが、AIの開発と展開の動態が変わるにつれて、時間とともに妥当性が下がるかもしれない。今後の研究では、AIの開発と推論実行の経済モデルを、この分布の変化に結びつけることが考えられる。

投資額とほかの入力の相互作用： 投資額、ハードウェアの価格性能比、学習時間の間には、ほかにも相互作用がありうる。たとえば、AIへの投資が大きければハードウェアの改良により多くの労力が注がれるかもしれないし、ハードウェアの改良が加速すれば、相対的に古いハードウェアを使う魅力が下がり、学習時間が短くなるかもしれない。これらの相互作用は明示的にはモデル化していない。

毎年開発されるAIモデル： 注目すべきAIモデルの数は、2010年以降全体として増えてきた。しかし、学習計算量が分かっている注目すべきモデルの数は、2021年以降わずかに減っている。これは主にデータの網羅性の問題だと考えている。小規模なモデルが注目度の基準を満たすには、引用や多くのユーザーが集まるのを待つ必要があるかもしれない。一方、最大級のモデルは、学習費用が大きく、（多くの場合）最高水準の性能を持つため、たいていすぐに収録の対象となる。また、最先端のAI開発企業は近年、学習の詳細をあまり公表しなくなっており、学習計算量の推定が難しくなっている。他方で、モデル数の減少はある程度は実際の傾向を反映している可能性もある。この不確実性はシナリオに組み込んでいる。

アルゴリズムの進歩： アルゴリズムの進歩は、学習計算量や開発されるモデル数の傾向を変えるかもしれない。しかし、それが投資に与える影響を判断できる既存の根拠はほとんどないため、入力として明示的にはモデル化していない。¹⁶ 過去のアルゴリズムの進歩の推定値は信頼区間が広く、この進歩の予測はさらに不確実である。

AI開発のより広い変化：私たちは、AIの学習への投資として経済的にありうる全範囲をおそらく網羅しているが、その投資がなじみのある学習計算量のパラダイムで使われると、必然的に仮定している。アルゴリズムやハードウェアの極端な変化がこの配分にどう影響しうるか、また、それがもたらしうる波及効果については、モデル化を試みていない。たとえば本稿の執筆時点では、推論実行の計算量のスケーリングが学習計算量のスケーリングにどう影響するかは未解決の問題である。とはいえ、本稿で用いた傾向の外挿という手法が依拠しているのは、過去15年間にAI開発が何度も大きく転換する中でも、かなり安定していた傾向である。バックテストからは、この手法が5年先の予測でもかなり有効であることが分かる（付録Cを参照）。したがって、2030年までの予測には有用な出発点になると考えている。

学習データの入手可能性： 大規模言語モデルの学習に使える公開データの実質的な総ストックには限りがある。しかし、このストックが2030年までのAIのスケーリングを制限する可能性は低いと見られ、AIが生成したデータで学習する優れた手法などの革新によって、既存のデータのストックはボトルネックになりにくくなる可能性が高い。電力とチップ製造の制約のほうが強く効く可能性が高く、これらの制約のもとでも、学習計算量は過去と同じ速さでスケーリングを続けられる可能性が高い。このことは中央値シナリオに反映されている。

結果

予測モデルの結果を図12と図13にまとめる。これらの結果は、ある計算量のしきい値におけるモデル数が時間とともに加速していくことを示しているが、その伸びは指数関数より遅い。たとえば、10²⁶ FLOPを超える注目すべきAIモデルの数は、2026年までに10個、2028年までに80個、2030年までに200個超へと増えると予測される。より高い10²⁷ FLOPというしきい値では、モデルが現れるのは1年遅れるが、その後加速して2030年までに100個を超える。

注目すべきAIモデルの累計数の推移各年の新しい注目すべきAIモデルの数

図13は、シナリオの違いが10²⁶ FLOP超のモデルがいくつ開発されるかにすぐに影響することを示しており、2027年までにそうしたモデルは10〜80個になる。これらの差は時間とともに顕著になり、2030年までには10²⁶ FLOPを超えるモデルが60〜500個になる可能性がある。

シナリオ間の差は、10²⁸ FLOPのようなより高い計算量のしきい値ほど大きい（図14を参照）。この場合、2030年ごろの減速をシナリオがどの絶対的な水準で予測するかが大きな違いを生む。「保守的」シナリオでは10²⁸ FLOPを超えるモデルは2029年まで開発されないが、ほかのシナリオでは2027年（「積極的」）または2028年（「中央値」）に現れる。主要な不確実性しだいで、AIの軌道が大きく変わりうることがよく分かる。

全体として、2030年までのAIモデル数の予測は、予想される電力の制約のもとで妥当に見える。なお、AI向けの総電力容量の推定は、モデル数の予測に対する大まかな妥当性チェックを意図したものであり、それ自体を予測として解釈すべきではない。予測される需要を満たすように電力供給を拡大できるかについては、さらなる研究が必要である。

結論

私たちの予測からは、今後数年間にAI開発が急速に拡大することがうかがえる。中央値シナリオでは2030年までに約200個のモデルが10²⁶ FLOPを超え、代替シナリオでは60〜500個の幅がある。これらの結果は、AIのエコシステムが今後どのような姿になるかについて重要な意味を持つ。計算量のしきい値を固定すると、当初は少数のフロンティアモデルしか対象にならなくても、数年のうちに数百のモデルを含むことになる。この固定されたしきい値に基づく規制を実施するには、規制当局の能力を拡大するか、技術の進歩に応じて変わる動的なしきい値を設けるかのどちらかが必要になる。

これらの予測には重要な限界がある。AIモデルの数は、AIモデルの定義に左右される。適切な定義は現在も議論が続いており、私たちの定義は規制上の定義と異なる可能性がある。アルゴリズムの改善によって、一定の計算量で達成できる能力は今後も高まり続けるため、固定されたしきい値は、時間とともにますます高い能力を持つモデルを対象にすることになる可能性が高い。しかし、アルゴリズムの進歩の速さはよく分かっておらず、既存の推定値は年1.8倍から年5.3倍までの幅がある。さらに、私たちのモデルは、世界的な紛争や自然災害のように、AI開発の軌道を劇的に変えうる出来事を考慮していない。おそらくより関係が深いのは、規制そのものがしきい値を超えるAIモデルの数に影響することを考慮していない点だろう。

これらの知見は、今後の研究の3つの優先課題を示している。第一に、政策立案者は、固定された学習計算量のしきい値と動的なしきい値のトレードオフを評価したいと考えるかもしれない。第二に、関心の対象となるAIモデルを公開するAI開発企業の数を予測することは有用である。AI開発の競争がどれほど激しくなるかについての背景がつかめるからである。最後に、AI開発のモデルを改良し、とりわけAIの経済学を組み込めば、予測の信頼性が高まる。これらの課題に取り組むことは、能力が急速に進歩し続ける中で、AIのエコシステムの将来の傾向を見通す助けになるだろう。

謝辞

フィードバックと貢献をいただいた以下の方々に感謝する。

• インタラクティブツールと図を実装したEdu RoldánとMatej Vrzala
• 図とインタラクティブツールのユーザーインターフェースをデザインしたRobert Sandler
• プロジェクト全体を通じて支援と助言をいただいた、英国科学・イノベーション・技術省のMayank Adlakha
• シナリオの較正とモデルの仮定の検証に役立つ予測とフィードバックを寄せてくれたEpoch AIのスタッフ
• レポートの草稿にフィードバックをいただいたAlexander ErbenとRomeo Dean

付録A：AI開発に必要な総資源量の妥当性チェック

妥当性チェックとして、存在すると予測されるすべての注目すべきAIモデルの学習に必要な総電力需要、ハードウェア投資額、チップ需要を推定した。私たちのシナリオは最大の個々の学習に対する投資額しか指定していないため、これらの量を確認することは重要である。実際には資源は多くのAIモデルに分散しているため、総資源量はかなり大きくなる。たとえば中央値シナリオでは、全AIモデルの総学習計算量は、最大の個々の学習の約5倍になると予測される。

このチェックはシナリオの暫定版に対して行い、「中央値」と「積極的」のどちらのシナリオでも2030年の総電力需要が大きすぎるという結論に達した。そこで、2030年の最大の学習に対する投資額を、中央値シナリオでは約3,000億ドルから2,000億ドルに、積極的シナリオでは2兆ドルから1兆ドルに引き下げた。この変更の後では、シナリオが意味する総資源需要を満たすことは可能だと考えている。ただし、積極的シナリオは依然として積極的な仮定に依拠している。2030年までのスケーリングにとっては電力が最も強い制約と見られるため、ここでは電力を中心に扱う。

総資源量は、次のように推定した。将来の各年について全モデルの予測FLOPを合計し、その回数のFLOPを1年間で実行するのに最新鋭のチップが何個必要かを計算する。すべてのチップを最新鋭と仮定するのは、計算の大部分を占める最先端付近の学習ではそれが当てはまる可能性が高いからである。総投資額と必要な電力を求めるには、総チップ数にチップあたりの推定費用とチップあたりの電力をそれぞれ掛ける。電力需要の推定は、すべての学習用ハードウェアが1年中稼働することを暗に仮定しているが、個々の学習は、必要な計算量に応じて異なる時期にこのハードウェアに割り当てられうる。

参考までに、2024年に世界のAIデータセンターで使われた総電力容量は、AIデータセンターに関する業界データに基づき、SemiAnalysisによって11 GWと推定されている。私たちは、この容量が2030年までに100 GW規模に達すると予想している。これは、さまざまな手法と情報源を用いてデータセンターの総電力需要の予測を分析したYouら（近刊）の報告に基づく。この報告によれば、推定値は2030年までに世界全体で約100 GWを中心に分布し、そのうち米国が約50 GWである。この概算をさらに裏づけるのがRANDの報告で、2030年までの世界の需要について45 GWから327 GWまでのいくつかの予測を示している。

図A1の計算を見ると、AIモデル開発の中央値の予測は、2026年のAIの学習に1 GWの総電力需要を意味する。これは2024年の総容量の推定値11 GWよりはるかに小さいため、推論実行、研究、その他の用途の需要が大きくても、1 GWは達成可能だと考えられる。「積極的」な予測は約5 GW、つまり2024年の推定容量の約50%を意味する。既存の容量の大部分がすでに学習に使われているなら、これも実現可能に見える。先行する分析は、AIの学習と推論実行への配分は50対50から大きく外れるべきではないと論じており、このシナリオを支持している。

2030年までに、私たちの予測が意味する総電力需要は、中央値シナリオで約50 GW、積極的シナリオで700 GWに増える。参考までに、50 GWはおおよそペンシルベニア州の夏季正味容量に相当する。2030年のAIの総電力需要の予測が世界全体で約100 GWを中心としていることを踏まえると、その半分を学習に割り当てるのは実現可能に見える。積極的シナリオで700 GWに達するには、予想よりはるかに速く、分散した拡充が必要になる。このRANDの報告にある総電力需要の最高推定値も約700 GWである。したがって積極的シナリオでは、(a) 供給がこの高需要シナリオに見合うこと、(b) この容量のほぼすべてが研究や推論実行ではなく学習に割り当てられること、が必要になる。これはありうるが、可能性は低いと私たちは考えている。

全体として、2030年までのAIモデル数の予測は、予想される電力の制約のもとで妥当に見える。なお、AI向けの総電力容量の推定は、モデル数の予測に対する大まかな妥当性チェックを意図したものであり、それ自体を予測として解釈すべきではない。予測される需要を満たすように電力供給を拡大できるかについては、さらなる研究が必要である。

総電力容量に加え、注目すべきAIモデル開発の予測が意味する総投資額（図A2）と総チップ需要（図A3）も推定した。積極的シナリオでは、2030年までに総投資額がハードウェア取得費用の合計で最大13兆ドルに達する。これは現在の米国のGDPのほぼ半分、世界のGDPの10%超に当たる。この総ハードウェア投資額は、2030年までにAIが世界経済の大部分を自動化するシナリオではありうるが、やはり可能性は低いと私たちは考えている。

付録B：予測の信頼性

予測モデルは、私たちが最も可能性が高いと考えるシナリオを正確にモデル化するよう設計されているが、5年先（2030年）を超えると信頼性が下がる。より遠い将来へ外挿するほど精度が落ちるのは避けられないうえ、予測を支える根拠も短期のほうが強い。特に、既存の根拠は、AIのスケーリングの傾向が2030年まで続きうるという考えを支持している。

予測モデルの較正と汎化の性能を評価するため、過去のデータでバックテストを行った。バックテストでは、ハードウェア投資額と学習計算量の分布から導き直すのではなく、学習計算量の平均的な傾向を単純に外挿する。この外挿は、ある時点（たとえば2022年）までの過去のデータだけに基づく。そのうえで、その時点より後（たとえば2024年）のモデル数を外挿がどれだけよく予測できるかを評価する。比較するのは各年の新規モデルの予測数と実際の数である。外挿が直接予測するのはその数だからである。

図B1（左）に示すとおり、2年先の外挿は、上位4つの計算量のしきい値で平均して5個ずれている。これは、私たちのモデルが近い将来をかなりよく予測できることを示す根拠である。5年先の予測は精度が下がり（図B1、右）、平均して8.5個ずれる。長期のほうが精度が低いのは驚くことではない。特に2019年はGPT-3のような大規模言語モデルが登場する前だからである。それでも、この予測性能は、AI開発が大きく変化したとしても、2030年までの予測がおおむね妥当な範囲にあるというある程度の安心材料になる。