フロンティアAIモデルの学習にはどれだけのコストがかかるのか？

結果の要約

フロンティアAIモデルの学習コストは近年劇的に増えているが、その規模と増加について公開されているデータは限られている。新しい論文では、この空白を埋めるために詳細なコストモデルを構築し、最大45のフロンティアモデルの学習コストを三つの異なる手法で推定した。それぞれ、ハードウェアとエネルギーへの支出、クラウドの賃借料、研究開発スタッフの人件費を考慮する手法である。本研究は、2024 AI Indexに掲載されたコスト推定を発展させたものである。

分析の結果、フロンティアモデルの最終的な学習実行にかかるハードウェアの償却費とエネルギーのコストは、2016年以降、年2.4倍（95%信頼区間：2.0〜3.1倍）のペースで急速に増えてきたことがわかった。また、GPT-4やGemini Ultraといった主要なフロンティアモデルの開発コストの内訳も、研究開発スタッフの人件費と実験用の計算資源を含めて推定した。その結果、開発コストの大部分はハードウェアで47〜67%を占めるが、研究開発スタッフの人件費も29〜49%と大きく、残りの2〜6%がエネルギー消費であることがわかった。

学習コストの増加傾向が続けば、最大規模の学習実行のコストは2027年までに10億ドルを超える。そうなれば、フロンティアAIモデルの学習は、最も資金の豊富な組織以外には手の届かないほど高価になると考えられる。

主な結果

中心となる手法では、モデルの学習期間中のハードウェアの減価償却とエネルギー消費に基づいて学習コストを計算する。ハードウェアのコストには、AIアクセラレータのチップ（GPUまたはTPU）、サーバー、相互接続用のハードウェアが含まれる。開発者による開示か信頼できる第三者の報道を用いて、各モデルのハードウェアの種類と数量、学習実行の期間を特定または推定する。また、各モデルの最終的な学習実行中のハードウェアのエネルギー消費量も推定する。

この方法で45のフロンティアモデル（公開時点で学習計算量が上位10位に入っていたモデル）の学習コストを推定したところ、全体の増加率は年2.4倍だった。

別の手法として、これらのモデルを借りたハードウェアでクラウド上で学習させた場合のコストも計算した。クラウド事業者はチップ1基1時間あたりの定額料金を課しており、エネルギーと相互接続のコストは価格に織り込まれているため、この方法は計算がとても簡単である。しかし、この方法では多くのフロンティアモデルのコストを過大に見積もってしまう。そうしたモデルは多くの場合、クラウドで借りたハードウェアではなく、開発者が所有するハードウェアで学習されるからである。

この方法でも年2.6倍とよく似た増加率が得られたが、コストの推定値は、ハードウェアの償却費とエネルギーによる方法の推定値より平均で約2倍高くなった。なお、これらのコスト推定値は以前、2024 AI Indexに掲載された。

最後に、いくつかのモデルを選んで開発コストを詳しく調べた。この手法では、最終的な学習実行と、それを支える実験の両方にかかる計算資源の償却費に加えて、研究開発スタッフの報酬も含める。この手法を、GPT-3、OPT-175B（Meta AIのチームによるGPT-3の再現の試みとして注目された）、GPT-4、Gemini Ultraに適用した。

では、AIラボはスタッフよりも計算資源に多くのお金を使っているのだろうか。私たちが推定したコストの内訳からは、そのようだと考えられるが、スタッフのコストも非常に大きい。AIアクセラレータのチップ、その他のサーバー部品、相互接続用のハードウェアを合わせたコストが全体の47〜67%を占め、研究開発スタッフの人件費は29〜49%（株式報酬を含む）である。残りの2〜6%がエネルギー消費である。

エネルギーは総コストのごく一部だが、これらのモデルに必要な電力容量は大きく、Gemini Ultraには推定35メガワットが必要だった。必要電力のこれまでの増加を素朴に外挿すると、AIスーパーコンピュータは2029年までにギガワット規模の電力供給を必要とすることになる。

意味するところ

AIの学習コストが急増すると、大きな課題が生じる。この費用についていけるのは少数の大組織だけであり、イノベーションが制限され、フロンティアAI開発への影響力が集中するおそれがある。膨らみ続けるこのコストがAIによる経済的な見返りで正当化されると投資家が納得しないかぎり、開発者は、この傾向を続けるのに必要な量のハードウェアを買う資金を十分に集めにくくなるだろう。したがって投資は、電力容量のようなほかの制約要因と並んで、AIモデルの規模拡大を続けるうえでの重要なボトルネックになりうる。学習コストが高騰するなか、AI開発者が今後もイノベーションを続けるには、こうした資金面とインフラ面の課題に取り組まなければならない。

方法論と詳細な分析について詳しくは、arXivの論文全文と、付属するGitHubのコードとデータを参照してほしい。

ウェビナー

6月5日に、この研究と、それがAIの研究開発や政策立案に対してもつ意味についてのウェビナーを開催した。以下はその録画である。

［埋め込みコンテンツ］