2030年、フロンティアAIの学習はどれほどの電力を必要とするか

はじめに

個々のフロンティアAIモデルの学習に必要な電力は、総学習計算量と学習クラスタの規模の拡大に押されて、時とともに急速に増えてきた。以前の分析で私たちは、フロンティアモデルの学習に必要な電力が毎年2倍を超えて増えてきたことを明らかにした。このトレンドが続けば、必要な電力はどこまで大きくなりうるのだろうか。

EPRI と共同で執筆した新しいホワイトペーパー「Scaling Intelligence: The Exponential Growth of AI’s Power Needs」（知能のスケーリング：AIの電力需要の指数関数的な増大）では、フロンティアの学習に必要な電力の増加を牽引する要因を分析し、2030年までの増加を予測した。結論として、2030年には、最大規模のフロンティアの学習実行が単独でおそらく4〜16ギガワット（GW）、すなわち米国の数百万世帯をまかなえるほどの電力を消費する。

モデルの学習計算量を使った電力需要の予測

フロンティアの学習実行に必要な電力は、これまで年2.2倍のペースで増えており、最大の学習実行は今や100 MWを超えている。この増加は主に、年4〜5倍で伸びてきたフロンティアの学習計算量によって牽引されてきた。

しかし、この計算量の伸びのトレンドを電力需要に換算するには、計算量の伸び率を、その影響を和らげる二つの要因の伸び率で割る必要がある。ハードウェアのエネルギー効率の改善と、学習実行の期間の伸びである。学習期間が延びれば、計算のコストがより長い期間に分散され、必要な電力は減る。

計算量、効率、期間のトレンドを分析した結果、学習計算量と効率の伸びはおそらく続くが、期間の伸びはおそらく鈍化することがわかった。

• 最近、計算効率が進歩し、推論モデルへの移行も進んでいるが、学習計算量の拡大はおそらく年4〜5倍程度で続く。これまでもスケーリングはアルゴリズムの効率の改善と並行して進んできたし、推論のパラダイムも強化学習でのさらなる計算量の拡大を促すだろう。

  より長期的には、特に2030年以降、学習に必要な電力のトレンドを不確かにする主な要因は計算量の拡大である。フロンティアモデルの初期費用が数千億ドルに達するか、それを超え、必要なエネルギーが最大の発電源を上回るようになるからだ。

• エネルギー効率はおそらくトレンドどおりに改善を続ける。主要なAI向けGPUのエネルギー効率は年40%改善しており、機械学習に使われるより広い範囲のGPUでは年26%改善している。これは、クーメイの法則が示す、数十年にわたる計算効率のトレンドとおおむね一致する。より低い精度の数値形式での学習への移行も、おそらく効率の向上に寄与する。

• 学習実行の期間の伸びはおそらく鈍化する。これまで学習実行の期間は年26%から50%伸びてきた。しかし、今や多くの学習実行が100日を超えており、この伸び率を維持するのは難しくなっているように見える。AIのイノベーションのペースが速いため、短い反復サイクルが求められるからだ。2030年までに、期間の伸びは年10〜20%に鈍化すると見込んでいる。

これらのトレンドを組み合わせて、最大のフロンティアモデルの電力需要を予測した。ただし、これらのトレンドの相互作用についてはモデル上の不確実性がある。重要な点として、学習実行の期間の限界は、クラスタと電力のより速い拡大を促すのではなく、計算量の拡大の鈍化を引き起こすかもしれない。この不確実性があるため、フロンティアの学習に必要な電力の伸びについて、過去の基準となるトレンドを外挿した結果もあわせて示す。こちらは、モデルの学習計算量のトレンドではなく、学習クラスタの電力のトレンドを直接測ったものである。詳しくは論文とコードを参照してほしい。

全体として、フロンティアの学習の電力需要は今後数年間、おそらく年2.2〜2.9倍で伸び、最大の学習実行は2030年までに4〜16 GWに達すると結論づけた。この範囲の下限は、すでに発表されている数GW規模のデータセンターの計画と整合している。なお、この量の電力を供給するうえでのボトルネックや制約は詳しくモデル化していない。特に不確実性の範囲の上限については、これほどの電力の増加が2030年までに実際に実現可能かどうかは確かではない。¹

エネルギー部門への含意

フロンティアの学習がエネルギー部門にとって特に関心の的となるのは、それが最大級のデータセンターの規模を左右する主要な要因だからである。こうしたデータセンターは、一か所に集中した大きな電力需要を伴い、その供給は難しい。しかし、地理的に離れた複数の場所にまたがる分散学習が技術的にますます実現可能になりつつあるという証拠もある。たとえば Google DeepMind はすでに、複数のデータセンターのキャンパスにまたがってモデルを学習させている。これによって、学習実行が単一の拠点の電力の制約を超えて拡大できるようになるかもしれない。いずれにせよ、各社は依然として2030年までにいくつかの数GW規模のデータセンターを建設する計画を立てている。

さらに、チップ生産とAIの設備投資の伸び率、そして第三者によるデータセンターの伸びの推定に基づいて、AIの電力容量全体がどう伸びるかについての証拠も検討した。これによって、フロンティアの学習の需要を全体の中に位置づけることができる。フロンティアAI企業は複数あり、学習だけでなく推論実行や実験にも計算資源が必要なので、個々の学習実行がギガワット規模になるということは、AIデータセンターの総容量がはるかに大きな水準にあることを意味する。

全体として、2030年までに世界全体で100 GW超、米国で50 GW超のAIの総容量は十分にありうるとの結論に達した。これは米国の総発電容量の5%に迫る規模である。

現在、AIの電力需要は、学習、実験、推論実行の間でほぼ均等に分かれており、推論実行は本来、分散した電力需要に向いている。この配分が時とともにどう変わるかははっきりしない。それは推論実行の需要の伸びと、推論実行の需要が学習のさらなる拡大の見返りにどう影響するかによって決まるだろう。

詳しくは、論文の全文をこちらから読める。