機械学習システムの学習にかかるドル建てコストの推移

本レポートの結果に関する重要な注意点

• コストの推定値の不確実性の幅は大きく、実際のコストは数倍大きいことも小さいこともありうる。コストの推定値は、それ自体が他の推定値（学習計算量の推定値、GPUの価格性能比の推定値など）の上に組み立てられている。それぞれの推定値の不確実性については、手法の節と付録Jを参照のこと。
• 推定したコストの増加率は個々のコスト推定値よりは頑健だが、この増加率も慎重に解釈すべきである。将来へ外挿する場合は特にそうである。
• コストの推定値が対象とするのは、機械学習システムの最終的な学習の実行（final training run）に使われた計算資源だけであり、それ以外は含まない。
• コストの推定対象は、Sevilla et al. (2022, p.16) で論じられた基準に照らして注目に値する、公に知られた機械学習システムである。性能の向上は時期によって不規則である。つまり、計算予算が2倍になっても、能力が常に同じだけ向上したわけではない。この挙動は分野によって大きく異なる。
• テック企業が「社内で」支払う額と、同じ量の計算資源に消費者が支払うであろう額とは大きく異なる。たとえば Google は、自社のTPUについて1時間あたりの支払いは少なくて済むかもしれないが、当初は何世代ものハードウェアを開発するコストを負担していた。

有益なフィードバックとコメントをくださった Michael Aird 氏、Markus Anderljung 氏、Epoch AI チームに感謝する。

要約

1. 2009年から2022年までに発表された機械学習（ML）システム124件のデータセットを用いて、¹機械学習システムの最終的な学習の実行にかかる計算資源のコスト（米ドル建て）は、年0.49桁（OOM）のペースで増えてきたと推定した（90%信頼区間：0.37〜0.56）。²より詳しい結果は表1の「全システム」の行を参照のこと。³

2. これに対し、2015年9月以降の「大規模」システム（比較的多くの計算資源を使ったシステム）の学習に使われた計算資源のコストは、サンプル全体よりもゆるやかに、年0.2桁のペースで増えてきたと推定した（90%信頼区間：年0.1〜0.4桁）。より詳しい結果は表1の「大規模」の行を参照のこと。（詳細）

推定方法 （説明へ）	データ	期間	規模（期首〜期末）4	最終的な学習の実行のドル建てコストの増加率
(1) GPU全体の価格性能比のトレンドを使う （結果へ）	全システム（n=124）	2009年6月〜 2022年7月	0.02ドル〜8万ドル	年0.51桁 90%信頼区間：0.45〜0.57
		大規模（n=25）	2015年10月〜 2022年6月	3万ドル〜100万ドル	年0.2桁5 90%信頼区間：0.1〜0.4
(2) 機械学習システムの学習に実際に使われたNVIDIA GPUのピーク時の価格性能比を使う（結果へ）	全システム（n=48）	2009年6月〜 2022年7月	0.10ドル〜8万ドル	年0.44桁6 90%信頼区間：0.34〜0.52
		大規模（n=6）7	2016年9月〜 2022年5月	200ドル〜7万ドル	年0.2桁 90%信頼区間：0.1〜0.4
増加率の加重混合8	全システム	2009年6月〜 2022年7月	該当なし9	年0.49桁 90%信頼区間：0.37〜0.56

表1：機械学習システムの学習に使われる計算資源のドル建てコストについて、対数線形回帰にもとづいて推定した経時的な増加率。OOM＝桁（10倍）。拡張版の結果表は回帰結果のまとめの節を参照のこと。

1. 過去の結果を用いて、最も高額な学習の実行にかかる計算資源のコストが、2021年の米国GDPの約1%にあたる2,330億ドルを超えるのはいつかを予測した（ただし不確実性は大きい）。Cotra (2020) にならい、このコストを、AIへの世界的な投資の規模にとって重要な閾値とみなす。¹⁰（詳細）

   1. 現時点で最も高額なコスト推定値（Minerva の327万ドル）から、「全システム」の増加率である年0.49桁（90%信頼区間：0.37〜0.56）を使って単純に外挿すると、最も高額な学習の実行にかかる計算資源のコストは、2032年（90%信頼区間：2031〜2036年）に実質値で2,330億ドルを超える。
   2. これに対し、私の最善の推測による予測では、コストの増加が今後鈍化することを示す証拠と、コスト推定値に含まれる偏りの要因を考慮して補正した。¹¹これらの補正は一部を私の直観的な判断に頼っているため、結果は慎重に解釈すべきである。2025年の初期コストを3億8,000万ドル（90%信頼区間：5,500万〜15億ドル）とし、年0.2桁（90%信頼区間：年0.1〜0.3桁）の増加率で外挿した。その結果、最も高額な学習の実行にかかる計算資源のコストが実質値で2,330億ドルを超えるのは2040年（90%信頼区間：2033〜2062年）となった。

2. 今後の研究として、次のことを勧める。

   1. Google のTPUで学習したシステムと、TPUの価格性能比のデータを手法2に組み込む。（詳細）
   2. 学習用計算資源のコストについて、点推定だけでなく、より信頼できる範囲（上限・下限）を推定する。たとえば、NVIDIA の利益率を調べて小売価格をその分だけ割り引けば、ハードウェアコストの下限が得られる。（詳細）
   3. より広いテーマとして、投資、支出の配分、AIの収益のトレンドを調べる。（詳細）

なぜ学習のドル建てコストを調べるのか

機械学習の学習の実行にかかる計算コスト（FLOP単位）は、機械学習の能力が時間とともにどう発展するかを理解するのに役立つ。たとえば計算コストの推定値を性能指標と組み合わせれば、機械学習システムの効率の推移を測ることができる。しかし、ムーアの法則（より具体的にはハードウェアの価格性能比のトレンド）によって、計算のコストは（ドル建てで）指数関数的に安くなってきた。過去10年間、機械学習への計算資源の支出は、ムーアの法則よりはるかに速いペースで増えてきた。¹²

計算量とは対照的に、機械学習の学習の実行にかかるドル建てのコストは、その学習の実行が（実際の経済的な観点で）どれほど高価か、そしてある主体がその学習の実行にどれだけ支出する意思があるかを、よりよく示している。 そしてドル建てのコストと支出の意思を理解すれば、次のことを予測しやすくなる。

1. AIの進歩の速さ（AI開発は、研究の進歩に固有の難しさだけでなく、経済的な要因にも左右されるため）。
2. どの主体が変革的AI（Transformative AI、TAI）を開発する資金的な余裕を持つか。これは、どの主体が最初にTAIを開発するかを考える手がかりにもなる。

本研究の主な目的は、学習コストに関する次の問いに答えることである。

1. 学習のドル建てコストは、時間とともにどれくらいのペースで増えているか。
2. 学習コストのトレンドは安定しているのか、鈍化しているのか、加速しているのか。
3. これまでで最も高額な機械学習の学習の実行はどれか。

もう1つの目的は、ドル建てコストを推定するさまざまな手法を検討し、手法の違いが結果に与える影響を分析することである。機械学習の学習の実行のドル建てコストについては、計算コストよりもさらに公開情報が少ない傾向があるため、不確実性を減らす手段として別の推定手法を検討することは特に重要だと考えている。

手法

学習用計算資源のドル建てコストを推定する手法の背景

本研究では、ある機械学習システムを生み出した最終的な学習の実行について、計算資源の実際のコストを推定する。¹³最終的な学習の実行にかかる計算資源のコストは、次の2つに分解する。

1. ハードウェアコスト：ハードウェアの初期費用のうち、その学習の実行に費やされた分。
2. エネルギーコスト：学習の実行中にハードウェアを動かす電気代。

ハードウェアコストを推定するモデルとして、私の知る限り最も単純なのは次のものである。¹⁴

$$\text{hardware\_cost}=\frac{\text{training\_time}}{\text{hardware\_replacement\_time}}\cdot \text{n\_hardware}\cdot \text{hardware\_unit\_price}$$

ここで training_time はハードウェア1台あたりの学習に使ったGPU時間、hardware_replacement_time はそのハードウェアが新しいハードウェアに置き換えられるまでに使われる総GPU時間である。

このモデルでは、開発者が n_hardware 台のハードウェアを単価 hardware_unit_price で購入し、各台を合計 hardware_replacement_time の期間使うと考える。したがってハードウェアの初期費用は hardware_replacement_time にわたって償却され、ハードウェアの使用料が $/s 単位で得られる。開発者はその $/s のレートで、ある機械学習システムの学習に training_time を費やす。なお、このモデルはハードウェアの販売価格以外のハードウェア関連コスト（スイッチや相互接続ケーブルなど）を無視している点に注意してほしい。

エネルギーコストを推定するモデルとして、私の知る限り最も単純なのは次のものである。¹⁵

$$\text{energy\_cost}=\text{training\_time}\cdot \text{n\_hardware}\cdot \text{hardware\_power\_consumption}\cdot \text{energy\_rate}$$

ここで hardware_power_consumption の単位は kW、energy_rate の単位は $/kWh である。最大消費電力は通常、ハードウェアのデータシートに記載されている。たとえば NVIDIA V100 の PCIe モデルの最大消費電力は 0.25kW と公表されている。

クラウドコンピューティングの価格を使えば、ハードウェア、エネルギー、保守のコストを個別に推定せずに考慮できる。クラウドコンピューティングの価格は通常、使用時間1時間・ハードウェア1台（たとえばGPU 1基）あたりのドルで表される。¹⁶したがって、最終的な学習の実行をクラウドコンピューティングで計算した場合のコストは、次の式で求められる。

$$\text{training\_cost}=\text{training\_time}\cdot \text{n\_hardware}\cdot \text{cloud\_computing\_price}$$

ただし、クラウドコンピューティング事業者は利益を上げる必要があるため、その価格には事業者のコストに上乗せされた利ざやも含まれる。そのため、クラウドコンピューティングの価格（特に割引価格ではなくオンデマンド価格）は、実際の学習コストの上限として役立つ。本研究では、クラウドコンピューティングの価格ではなく、ハードウェアの価格だけを使ってコストを推定する。

学習計算量とGPUの価格性能比から学習コストを推定する

前節で示した推定モデルは、コストと最も直接的に相関する変数（購入したハードウェアの台数など）を追う、最も単純なモデルだと私は考えている。そのため、これらのモデルは不確実性の要因を最小限に抑えられる。しかし、ある機械学習システムの学習時間や、学習に使われたハードウェアの台数についての情報は、手に入らないことが多い。一方、機械学習システムの学習計算量を推定するのに十分な情報は、比較的手に入りやすい。Compute Trends Across Three Eras of Machine Learning（Sevilla et al., 2022）とそれに付随するデータベース¹⁷は、機械学習システムの学習計算量の推定値を、現時点で最も包括的にまとめたものである。¹⁸データが入手しやすいことから、前節で示したモデルではなく、FLOP単位の学習計算量を使う推定モデルを選んだ。

学習計算量からハードウェアコストを推定するには、ハードウェアの価格性能比（1ドルあたりのFLOP/s）も知る必要がある。本研究では、Trends in GPU price-performance で全GPU（n=470）について見いだされた価格性能比のトレンドを使う。また、同研究のGPUデータセットにある個々のGPUの価格性能比の推定値も一部使う（詳しくはこちらの付録を参照）。推定するのはハードウェアコストだけで、エネルギーコストは推定しない。その理由は、(a) エネルギーコストはそれほど大きくないとみられること（根拠はこちらの付録を参照）、(b) 私にとっては、エネルギー消費のデータよりも、ハードウェアのスループットと計算量に関するデータのほうが入手しやすかったことである。

ある機械学習システムの学習のハードウェアコスト（ドル）を推定するのに実際に使ったモデルは、次のとおりである。

\textit{hardware_cost} = \textit{training_compute} / \textit{realised_training_compute_per_\$}

ここで realised_training_compute_per_$ の単位は FLOP/$ であり、次の式で表される。

\textit{realised_training_compute_per_\$} = \textit{hardware_price_performance} \cdot \textit{hardware_utilization_rate} \cdot \textit{hardware_replacement_time}

ここで hardware_utilization_rate は、理論上のピークFLOP/sスループットのうち学習で実際に達成された割合である。hardware_price_performance の単位は1ドルあたりのFLOP/sで、次の式で表される。

$$\text{hardware\_price\_performance}=\text{peak\_throughput}/\text{hardware\_unit\_price}$$

このモデルを実際に使うには、いくつかの課題がある。

1. 学習計算量はそれ自体が複数の変数にもとづく推定値であり、大きな不確実性を伴う傾向がある。¹⁹

2. ハードウェアの交換時期は、開発者の資源とニーズによって異なる。たとえば開発者は、以前のハードウェアのコストを研究成果で「回収」していなくても、大規模な実験を行えるだけの資金を得たために、早めにハードウェアを更新することがある。

3. ある機械学習システムで達成されたハードウェア利用率についての情報は、信頼できないことが多い。

4. ハードウェアの単価は時期によって変動する。近年（2019年以降）は、1.5倍程度の変動がよくあるようだ。²⁰

上記の問題を無視して、次の単純化の仮定を置いた。

1. 学習計算量の推定値を真の値とする。
2. ハードウェアの交換時期は一定で2年とする。²¹
3. 学習中は一定の利用率35%が達成されたとする。²²
4. 各ハードウェアモデルについて、信頼できそうな情報源が報じた単価のうち、そのハードウェアの発売日に最も近い時期に報じられたものを使った。（データの出典についての詳細はこちらの付録にある。）

本研究の結果は上記の仮定に依存しているが、こちらの付録ではこれらの仮定の影響を定量化し、機械学習システムの最終的な学習の実行にかかる計算資源のコストについて、私の実際の最善の推測と本当の不確実性を推定しようと試みた。

手法1：GPU全体の価格性能比のトレンドを使う

hardware_price_performance 変数を推定する方法の1つは、価格性能比の全体的な経時トレンドを使うことである。こうすれば、各機械学習システムに実際に使われたハードウェアを知る必要がなくなる。Trends in GPU price-performance では、GPUハードウェアの価格性能比（1ドルあたりのFLOP/s）は平均しておよそ2.5年ごとに倍増してきたと推定された。価格性能比を推定する1つ目の手法として、このトレンドを使った。具体的には、機械学習システムが発表された時点でのトレンド線の値を、その価格性能比とした。

手法2：機械学習システムの学習に実際に使われたハードウェアの価格性能比を使う

手法1は、次の点で現実的でない。

1. ハードウェアの購入は実際には、システムの発表日より前、おそらく学習の実行が始まる数か月から数年前に行われる。
2. 実際に達成できる価格性能比は離散的である。
   1. 第一に、価格性能比は、その時点でどのGPUが入手できるかに左右される。Trends in GPU price-performance のグラフに見られるように、新しいGPUが入手可能になる時期は離散的で、やや不規則である。
   2. 第二に、価格性能比は、実際にどのハードウェアを選んだかに左右される。実際の価格性能比はハードウェアの機種によって異なり、実際に使われたハードウェアは、市場で入手できる最新のハードウェアより古い場合もある。

こうした限界に対処するため、2つ目の推定手法では、ある機械学習システムの学習に実際に使われたハードウェアの価格性能比にもとづいて推定する。たとえば GPT-3 は NVIDIA V100 GPU を使ったと報じられている。そこで GPT-3 の学習コストを推定する際には、V100 の実際のFLOP/sの仕様値と推定単価を使って、価格性能比（1ドルあたりのFLOP/s）を計算した。そしてその価格性能比の値を、前述のハードウェアコストの式に当てはめた。

データセット

データセットは Training cost trends in machine learning で公開している。データの収集と処理の方法の詳細はこちらの付録にある。

コード

すべての結果は、付属の Colab ノートブックを使って作成した。

大規模システム

Compute Trends Across Three Eras of Machine Learning で示された主な結果では、2015年後半以降、1つの計算量のトレンドを同時並行する2つのトレンドに分けていた。そのうちの1つが「大規模」システムのトレンドである。大規模システムとは、全システムの平均的な計算量のトレンドから上に外れたシステム（つまり、異常に多くの学習計算量を使ったシステム）を指す。学習計算量とAIの能力の関係を考えると、²³こうした大規模システムのトレンドは、将来のAIの能力の最先端がどうなるかを知る手がかりとして、より有用である。

大規模システムの学習コストのデータセットを作るにあたり、まず Compute Trends Across Three Eras of Machine Learning と同じシステム群から始めた。次に、こちらの結果の節に示したグラフを目視で確認し、より最近公開された次のシステムを加えた。²⁴「Chinchilla」「PaLM (540B)」「OPT-175B」「Parti」「Minerva (540B)」である。

結果

手法1：全機械学習システムについてGPU全体の価格性能比のトレンドを使う（n=124）

全機械学習システムの学習コストの増加率：年0.51桁

図2は、選んだ機械学習システム（n=124）の学習コストをシステムの発表日に対してプロットし、線形のトレンド線を引いたものである（y軸が対数目盛りであることに注意）。対数線形回帰を当てはめると、最終的な学習の実行にかかる計算資源のドル建てコストの増加率は年0.51桁（90%信頼区間：年0.45〜0.57桁）となった。注目すべきことに、この増加は、Sevilla et al. (2022, Table 3) が示した「全システム」（n=98）の2010〜2022年の計算量（FLOP単位）のトレンド、年0.7桁（90%信頼区間：年0.6〜0.7桁）よりもゆるやかである。

この増加率の推定値は、計算量と価格性能比の対数線形トレンドを組み合わせた結果にすぎない点に注意してほしい。先行研究で報告された計算量の増加率（年0.7桁）から、GPUの価格性能比の増加率（年0.12桁）を差し引くだけでも、同程度の増加率が推定できる。²⁵

当てはめたトレンドにもとづくと、2030年初めまでに予測される、画期的な機械学習システムの平均的な学習コストの増加は次のとおりである。

• 2022年末と比べて+3.6桁（90%信頼区間：+3.2〜+4.0桁）
• 5億ドル（90%信頼区間：9,000万〜30億ドル）

ここでも、また以降の同様の結果すべてでも、正確なコストの予測よりも、桁単位での追加の増加の予測のほうに確信を持っている。前者は、不正確かもしれない定数因子（ハードウェアの交換時期やハードウェア利用率など）の影響を受けないからである。

大規模機械学習システムの学習コストの増加率：年0.2桁

「大規模」システム群に対数線形回帰を当てはめると、図3のグラフが得られた。傾きはおよそ年0.2桁（90%信頼区間：年0.1〜0.4桁）だった。この結果はより小さなサンプル（n=124に対してn=25）にもとづくものだが、最も高額な学習の実行のコストは、画期的な機械学習システム全体よりも大幅にゆるやかに増えていると結論づけるには十分な証拠があると考える。これは、AI and Compute（CSET）や、Cotra の「Forecasting TAI with biological anchors」²⁶の予測と方向性が一致している。すなわち、主要なAI開発者が現在学習に支出する意思の程度を踏まえ、また近年の全体的な増加率は持続不可能に見えることも踏まえると、近年の支出の増加は2020年代のうちに大きく鈍化する可能性が高い、という予測である。

当然ながら、大規模システムの増加率が、全システムの増加率よりもこれほど低い状態が長く続くことはありえない。もしそうなら、全システムの増加がすぐに現在の大規模システムに追いついてしまうからである。大規模システムの増加がはるかにゆるやかである主な理由は、「大規模」システムの選び方が、計算量の多い外れ値に大きな重みを置くことにあるようだ。このデータセットで早い時期に現れた AlphaGo Master や AlphaGo Zero などの外れ値は特に高く、そのため後の外れ値がそれほど極端に見えなくなる。とはいえ、これによって大規模システムへの支出の増加がよりゆるやかだという結論が損なわれるとは考えていない。むしろ、大規模システムの将来のコストについての不確実性が増すということである。

当てはめたトレンドにもとづくと、2030年初めまでに予測される、大規模機械学習システムの学習コストの増加は次のとおりである。

• 2022年末と比べて+1.8桁（90%信頼区間：+1.0〜+2.4桁）。²⁷

• 8,000万ドル（90%信頼区間：600万〜7億ドル）

つまり、大規模システムのトレンドは全システムの平均的なトレンドより高い水準から始まるものの（前節を参照）、増加がゆるやかなため、予測値は5億ドル（90%信頼区間：1億〜30億ドル）より低くなる。

手法2：機械学習システムの学習に使われたNVIDIA GPUの価格性能比を使う（n=48）

全機械学習システムの学習コストの増加率：年0.44桁

図4は、NVIDIA GPUで学習した機械学習システム（n=48）の学習コストの桁を、システムの発表日に対してプロットし、線形のトレンド線を引いたものである。トレンドは年0.44桁（90%信頼区間：0.34〜0.52）となった。つまりこのモデルは、GPU全体の価格性能比のトレンドにもとづくモデルの年0.51桁（90%信頼区間：0.44〜0.59）よりもゆるやかな増加を予測する。この増加率（年あたりの桁数）の違いは、単にデータセットが小さいことによるものだと分かった。ただし絶対的なコスト（ドル）の推定値は、平均して手法1のおよそ2倍である。²⁸

当てはめたトレンドにもとづくと、2030年初めまでに予測される、画期的な機械学習システムの平均的な学習コストの増加は次のとおりである。

• 2022年末と比べて+3.1桁（90%信頼区間：+2.4〜+3.6桁）
• 2億ドル（90%信頼区間：800万〜20億ドル）

大規模機械学習システムの学習コストの増加率：年0.2桁

大規模システムのトレンドについては、手法1と同じ方法で大規模システムを選び出したが、手法2のより小さなサンプル（n=48）に含まれるシステムだけを対象にした。その結果、残ったのはわずか6件だった。このシステム群に対数線形回帰を当てはめると、図5のグラフが得られた。傾きはおよそ年0.2桁（90%信頼区間：年0.1〜0.4桁）だった。サンプルサイズが非常に小さく、不確実性も非常に大きいため、この結果は他の結果よりもずっと軽く扱うべきである。この回帰による2030年の予測は無視し、手法1を採るべきだと考える。とはいえ少なくとも、最も高額な学習の実行のコストが画期的な機械学習システム全体よりも大幅にゆるやかに増えてきたことがうかがえる点では、この結果は手法1と一致している。

全回帰結果のまとめと比較

表2と表3は、それぞれ「全システム」と「大規模」システムについて、すべての回帰結果をまとめたものである。「全システム」の回帰結果が期間の取り方に対してどれほど頑健かを分析したところ、手法1が予測する平均増加率は期間を変えてもかなり頑健であるのに対し、手法2はその点ではるかに頑健性が低かった（詳しくはこちらの付録を参照）。ただし、個々のコストの推定値は手法2のほうが正確だと考えている。手法2は、各機械学習システムの学習に使われた特定のハードウェアの価格データを使うからである。全体としては、現在のデータセットでは手法1で得た増加率のほうが頑健だと考える。ただし、手法2について同程度の数のデータ点が得られれば、この結論が変わる可能性はそれなりにありそうだ。そのデータの収集は、今後の研究として取り組む価値があるだろう。

推定方法	期間	データ	増加率（年あたりの桁数）	2030年までの予測平均コスト
手法1（ハードウェア価格の平均的なトレンドを使用）	2009– 2022	全システム（n=124）	0.51 90%信頼区間：0.45〜0.57	5億ドル （90%信頼区間：9,000万〜30億ドル）
手法2（実際のハードウェア価格を使用）	2009– 2022	全システム（n=48）	年0.44桁 90%信頼区間：0.34〜0.52	2億ドル （90%信頼区間：800万〜20億ドル）
結果の加重混合29	2009– 2022	全システム	年0.49桁 90%信頼区間：0.37〜0.56	3億5,000万ドル （90%信頼区間：4,000万〜40億ドル）30
計算量のトレンド（参考）31	2010– 2022	全システム（n=98）	年0.7桁 95%信頼区間：0.6〜0.7	該当なし
GPUの価格性能比のトレンド（参考）32	2006– 2021	全GPU（n=470）	年0.12桁 95%信頼区間：0.11〜0.13	該当なし

表2：画期的な機械学習システムの最終的な学習の実行に使われる計算資源のドル建てコストについて、対数線形回帰にもとづいて推定した経時的な増加率。参考として、下の2行には、先行研究で見いだされた学習計算量（FLOP単位）とGPUの価格性能比（1ドルあたりのFLOP/s）のトレンドを示す。

推定方法	期間	データ	増加率（年あたりの桁数）	2030年までの予測平均コスト
手法1（ハードウェア価格の平均的なトレンドを使用）	2015–2022	大規模（n=25）	年0.2桁 90%信頼区間：0.1〜0.4	8,000万ドル （90%信頼区間：600万〜7億ドル）
手法2（実際のハードウェア価格を使用）	2015–2022	大規模（n=6）	年0.2桁 90%信頼区間：0.1〜0.4	6,000万ドル （90%信頼区間：200万〜90億ドル）
計算量のトレンド（参考）33	2015–2022	大規模（n=16）	年0.4桁 95%信頼区間：0.2〜0.5	該当なし

表3：大規模機械学習システムの最終的な学習の実行に使われる計算資源のドル建てコストについて、対数線形回帰にもとづいて推定した経時的な増加率。参考として、最下行には先行研究で見いだされた学習計算量（FLOP単位）のトレンドを示す。

支出の上限に達する時期の予測

過去のトレンドを使えば、最も高額な学習の実行への計算資源の支出が、経済的な制約にもとづくなんらかの上限にいつ達するかを（不確実性は大きいものの）予測できる。支出の本当の上限がどこにあるかについては、非常に不確かである。しかし Cotra (2020) にならい、コストの上限として2,330億ドル（2021年の米国GDPの1%）を選んだ。少なくとも、AIへの世界的な投資の規模にとって重要な閾値だと思われるからである。³⁴

想定した上限に達する時期を予測するにあたり、次の事実と推定値を使った。

1. 米国GDP：2021年に23兆3,200億ドル³⁵
2. 選んだ支出の閾値：GDPの1%＝0.01 × 23兆3,200億ドル＝2,332億ドル
   1. この数値はおよそ 10^11.37 に等しい
3. 過去の起点となるコストの推定値：327万ドル（Minerva） 2. この数値はおよそ 10^6.51 に等しい 3. Minerva の時点はおよそ2022.5年（2022年6月29日）
4. 2025年初めの推定コスト：6,000万ドル³⁶ 4. これはおよそ 10^7.78 である
5. コストが支出の上限に達する年を推定する式：［起点の年］＋（［上限］−［起点］の桁数）／［将来の増加率（年あたりの桁数）］ 5. 上記の数値を使った例：2022.5 ＋（11.37 − 6.51 桁）／（年0.49桁）≒ 2032

得られた予測は次のとおりである。まず単純な外挿による予測、次に私の最善の推測にもとづく予測を示す。

1. 現時点で最も高額なコスト推定値（Minerva、327万ドル）から、過去の増加率を使って単純に外挿した場合：
   1. 「全システム」のトレンドである年0.49桁（90%信頼区間：0.37〜0.56）を使うと、2032年（90%信頼区間：2031〜2036年）に2,332億ドルのコストに達する。この外挿を図6に示す。
   2. 「大規模」のトレンドである年0.2桁（90%信頼区間：0.1〜0.4）を使うと、2047年（90%信頼区間：2035〜2071年）に2,332億ドルのコストに達する。

1. 私の最善の推測では、コストの増加が今後鈍化することを示す証拠と、コスト推定値に含まれる偏りの要因を考慮して補正している。³⁷これらの補正は一部を私の直観的な判断に頼っているため、結果は慎重に解釈すべきである。結果は次のとおりである³⁸。

   1. 独立した印象³⁹：2025年の初期コストを2億ドル（90%信頼区間：2,900万〜8億ドル）とし、年0.3桁（90%信頼区間：年0.1〜0.4桁）の増加率で外挿すると、2036年（90%信頼区間：2032〜2065年）に2,332億ドルのコストに達する。

   2. すべてを考慮した見解：2025年の初期コストを3億8,000万ドル（90%信頼区間：5,500万〜15億ドル）とし、年0.2桁（90%信頼区間：年0.1〜0.3桁）の増加率で外挿すると、2040年（90%信頼区間：2033〜2062年）に2,332億ドルのコストに達する。この外挿を図7に示す。

今後の研究への提言

手法2にGoogle TPUで学習したシステムを含める

手法1のサンプルが124件だったのに対し、手法2に使ったデータセットのサンプルは48件しかなかった。さらにこのデータセットには、NVIDIA GPUで学習したと私が確認できた機械学習システムしか含まれていない。今後の研究では、他のハードウェア、特に Google のTPUを含めるとよいだろう。私のデータセットのシステムのうち、少なくとも25件がTPUで学習されていたことが分かっている（データが欠けているシステムもあるので、25件より多い可能性もある）。

クラウドコンピューティングの価格と利益率を使って、コストのより信頼できる範囲を推定する

今後の研究として、次の手法を発展させることで、FLOP/$（ひいては学習の実行のハードウェアコスト）について、より信頼できる上限・下限を推定することを勧める。⁴⁰

• FLOP/$ の推定手法1：GPUのピーク性能（FLOP/s）を価格（ドル）で割って価格性能比を求める。それに一定のハードウェア交換時期（秒）を掛けて、FLOP/$ 単位の値を得る。
  • 発展1：そのGPUについての NVIDIA の利益率を推定する。公表価格や小売価格をその利益率の分だけ割り引いて、ハードウェアコストの下限（つまり、おおむね製造コスト）を得る。次に、公表価格や小売価格の代わりにそのコストを使って、1ドルあたりのFLOP/sの上限値を求め、手法1で使う。
    • ハードウェアが可能な限り安いことになるので、これによって学習用計算資源のコストの下限が得られる。
  • 発展2：公表価格や小売価格（または発展1のように推定した製造コスト）（ドル）を、クラウドコンピューティングのレンタル価格（ドル／時間）で割って、ハードウェアの交換時期を推定する。そしてその値を手法1で使う。
    • 製造コストが価格の下限であり、オンデマンドのクラウドコンピューティングのレンタル価格が1時間あたりの価格の上限であるなら、これによってハードウェア交換時期の下限が得られる。
    • 代わりに小売価格と、最大限に割り引かれたレンタル価格（たとえば3年間のレンタル契約に対する割引）を使えば、この推定値はハードウェア交換時期の上限に近くなる。
• FLOP/$ の推定手法2：GPUのピーク性能（FLOP/s）を、現在のクラウドコンピューティングのレンタルコスト（ドル／時間）で割って、FLOP/$ 単位の値を得る。
  • 発展1：GPU全体の価格性能比の増加率を使って、この現在の FLOP/$ の値から過去の時点 t（機械学習システムの発表日）へ外挿する。ここでは、FLOP/$ と1ドルあたりのFLOP/sは定数倍しか違わず、したがって増加率は FLOP/$ と1ドルあたりのFLOP/sで同じだと仮定する。
    • こうして得た FLOP/$ の値を使えば、学習用計算資源のコストの上限が得られる。オンデマンドの時間単位のクラウドコンピューティングの価格には比較的大きな利ざやが含まれているうえ、私のデータセットのうちクラウドコンピューティングで学習した機械学習システムは、クラウドコンピューティングサービスが提供する割引を利用していた可能性が非常に高いと考えられるからである。⁴¹

投資、支出の配分、収益を調べる

さらなる調査に値する重要で幅広いテーマとして、AIへの投資、AIへの支出の配分、AIシステムが生み出す収益について、それぞれのトレンドと相互の関係を理解することが挙げられる。これが分かれば、将来AIにどれだけ支出する意思があるか、また大規模な学習用計算資源のコストの増加率が今後も下がり続けるのか、横ばいになるのか、上がるのかを推定する手がかりになる。それはさらに、TAIがいつ到来するか、そしてそれまでの間にAIがどのような影響を及ぼすかの予測にもつながる。

付録

付録A：最終的な学習の実行のエネルギーコストは、ハードウェアコストの約20%とみられる

エネルギーコストの例として、GPT-3 は学習中に 1,287 MWh のエネルギーを消費したと推定されている。⁴²この推定は、メモリ、ネットワークインターフェース、冷却ファン、ホストCPUを含めた、GPUチップ1基あたりのシステム平均電力の実測値にもとづいている。また、「データセンター内の計算機器を直接動かす電力を超えるエネルギーのオーバーヘッド」も考慮している。⁴³米国エネルギー情報局のこの記事の最初のグラフから判断すると、2020年の米国の平均電力価格は1kWhあたり約0.13ドルだった。これらの数値を掛け合わせると、1,287,000 kWh × 0.13ドル/kWh＝167,310ドルとなる。

比較のため、私が推定した GPT-3 のハードウェアコストは次のとおりである。

1. GPUの価格性能比の全体的な線形トレンドを使った場合、70万ドル
2. 実際のハードウェアの価格性能比を使った場合、110万ドル

したがってエネルギーコストは、ハードウェアコストの約24%または15%になる（平均するとおよそ20%で、これが表題の数字である）。エネルギーコストは、学習のエネルギーコストとハードウェアコストの合計に対しては、それぞれ約20%または13%を占めることになる（平均するとおよそ17%）。

これは1つの機械学習モデルを使った1つの例にすぎないが、ハードウェアコストに対するエネルギーコストのおおよその目安として参考になると考える。この1つの例にもとづき、ハードウェアコストは一般にエネルギーコストの数倍大きく、したがって機械学習システムを生み出す総コストを推定する際には、ハードウェアコストに注目するほうが重要だと仮定する。

付録B：データの収集と処理

機械学習システムの名前、発表日、FLOP単位の学習計算量は、Parameter, Compute and Data Trends in Machine Learning（2022年8月20日時点）から取得した。⁴⁴このデータベースに収録されたシステムは、「画期的な」機械学習システムとみなされている。⁴⁵システムの一覧を、FLOP単位の計算量の推定値がすでにあり、かつ2006年より後に発表されたもの（GPUの価格性能比のデータがおおよそこの時期から始まるため）に絞り込んだ。その結果、124件のシステムが残った。最も古いシステムは、2009年に発表された「Large-scale Deep Unsupervised Learning using Graphics Processors」の「GPU DBNs」で、これはたまたま2010年にディープラーニングの時代が始まる直前にあたる。⁴⁶

手法1では、Trends in GPU price-performance で報告された全GPUのトレンド（倍増期間2.45年、つまり10倍になるまで8.17年）を使った。同研究のデータは2020年までで、インフレ調整がされているため、⁴⁷学習のドル建てコストには2020年の米ドルを単位として使った。また、GPUの価格性能比のデータは2021年までしかないのに対し、2021年と2022年の機械学習システムも含めたため、そのトレンドを少しだけ外挿していることになる。

各機械学習システムの学習に使われたハードウェアのデータは、私のデータセットの「ML SYSTEMS」列の「Hardware model」列にある。124件の機械学習システムのうち、論文に具体的なハードウェアの情報が記載されていたのは78件だった。⁴⁸この78件のうち、48件が NVIDIA GPU を使っていた。「実際のハードウェア」による推定手法（手法2）では、サンプルを NVIDIA GPU を使った48件のシステムだけにした。今後の研究では、Google のTPUなど他のハードウェアを含めるとよいだろう。私のデータセットのシステムのうち少なくとも25件が、TPUで学習されていたことが分かっている。⁴⁹

個々のハードウェアモデルの価格性能比を推定するため、「HARDWARE」というスプレッドシートを作成した。これは上記のリンク先のデータセットにある。当初は Parameter, Compute and Data Trends in Machine Learning データベースの「HARDWARE_DATA」シートのコピーだったが、いくつか変更を加えた。

1. NVIDIA A100 を含め、GPUの種類やGPUに関するデータを追加した

2. 価格情報の出典を追加し、それらの出典を組み合わせて1つの価格の推定値を得た⁵⁰

3. 「Peak FP performance (FLOP/s)」列を追加した

「Peak FP performance (FLOP/s)」列は、そのハードウェアが提供する理論上の最大性能を表す。NVIDIA のアクセラレータGPUでは、浮動小数点数でのピーク性能は「Tensor」または「Tensor Core」モードで動作させたときに達成される。このモードは、数値表現に混合精度（たとえばFP32で累算するFP16）を使う。具体的なピーク性能が手に入らない場合、この列には既定で、他の列にある浮動小数点性能の値のうち最大のものを入れた。そのうえで、ピーク性能を推定単価で割って1ドルあたりのFLOP/sの値を求め、実際のハードウェアモデルの価格性能比を推定した。⁵¹

コストの推定値が、機械学習の開発者が達成しえた最良の性能をよりよく反映するように、一定の種類の性能（たとえば32ビットの数値表現）ではなく、各GPUについて公表されている最大（ピーク）性能を使った。ただし、このピーク値にハードウェア利用率35%を掛けて、ピーク性能を割り引いている点に注意してほしい。ピーク性能を使うと、そうしない場合よりもコストの推定値は低くなる。

付録C：回帰の手法

報告した回帰結果はすべて、1000サンプルのブートストラップで得たものである。コストの増加率（年あたりの桁数）の平均推定値は、ブートストラップの各サンプルにおける回帰の傾きの平均である。増加率の90%信頼区間は、ブートストラップの各サンプルで得た回帰の傾きの5パーセンタイルと95パーセンタイルである。回帰による予測（たとえば表2の「2030年までの予測平均コスト」列）は、各ブートストラップサンプルの中で予測値を計算し、それらのサンプルの平均・5パーセンタイル・95パーセンタイルをとって求めた。正確な実装はこちらの Colab ノートブックのセルを参照のこと。

また、Sevilla et al. (2022, Appendix A) と同じ手順で、推定した学習計算量（FLOP単位）の不確実性も考慮した。各ブートストラップサンプルでは、各機械学習システムの計算量に、0.5から2までの対数一様分布から無作為かつ独立に抽出した係数を掛けた。ただし、こうした無作為な乗数を入れても、増加率の推定値には大きな影響はなかった。⁵²

Sevilla et al. (2022) との違い

Compute Trends Across Three Eras of Machine Learning（Sevilla et al., 2022）は、画期的な機械学習システムの学習に使われた計算量（FLOP単位）の経時的なトレンドを調べた。学習計算量は、ドル建ての学習コストを推定する私のモデルの主要な変数の1つなので、私の分析の多くは Sevilla et al. (2022) と似ている。ただし、私はアプローチの中でいくつか独自の判断をしており、次の違いは注目に値する。

• ドル建てコストのトレンドを分析する際、計算量のデータセットに含まれる計算量の少ない外れ値を含めた。これらのシステムを除外する理由に十分な確信が持てなかったからである。⁵³

• 最も高額なシステムのデータセットに、AlphaGo の各システムを含めた（ただし、Sevilla et al. が行ったような、このデータセットに対する回帰は行っていない）。⁵⁴AlphaGo の各システムは統計的な外れ値かもしれないが、最初の変革的AIシステムは、これまでに学習されたなかで最も高額なシステム（かそれに近いもの）になる可能性が高いと考えており、AlphaGo の各システムはその前例となる。

• 私のデータセットには、Sevilla et al. (2022) の発表後に Parameter, Compute and Data Trends in Machine Learning データベースへ追加されたシステム（Minerva など）が多く含まれている。

• 「ディープラーニング以前の時代」のデータは、「GPU DBNs」というシステムを除いて検討の対象から外している。この唯一の例外は、データの選び方によるものである（データの出典に関する付録を参照）。

• 学習コストを推定する手法2では、学習用ハードウェアについてのデータが手に入るかどうかの関係で、Sevilla et al. (2022) に含まれていたシステムの大半を除外している。

付録D：NVIDIA GPUの価格性能比を、機械学習システムの発表日の関数として調べる

図7を目視で確認すると、NVIDIA の一般消費者向けGPU（つまり NVIDIA GeForce GTX シリーズ）で学習した機械学習システムの時期は、GPUの価格性能比のトレンド（青い線）に遅れずについていっている。ハードウェアの発売日と機械学習システムの発表日のずれは、これに大きな影響を与えていないようだ。一方、NVIDIA のデータセンター向けGPU（K・P・Vの各モデル）で学習した機械学習システムの時期は、トレンドからずっと大きく遅れている。これらのGPUの価格性能比は、平均してトレンド線の約2.5分の1である。⁵⁵ただし、最新のデータセンター向けGPU（V100 と A100）は、以前のデータセンター向けGPUよりもトレンド線にずっと近いところから始まっている。全体として、このデータは、手法2が手法1よりも高いコストを推定しがちな理由を説明している（別の付録で論じたとおり）。

GPU全体のトレンド線とデータセンター向けGPUの価格性能比との食い違いは、NVIDIA がデータセンター向けGPUに大きな割増価格を付けていることで説明できる可能性が高い。NVIDIA 自身はデータセンター向けGPUの希望小売価格を公表しておらず、顧客が NVIDIA にハードウェアの代金として最終的に支払う価格は秘密保持契約の対象で、したがって入手できないと私は考えている。⁵⁶NVIDIA のデータセンター向けGPUについて私が持っている価格情報は、プレスリリースやニュース記事での報道、専門家の推定によるものである。価格が開示されていないことを踏まえると、NVIDIA の最大手の顧客は交渉によって提示価格を引き下げていると予想される（通常の一般消費者向けGPUでは、このようなことは起きない）。そのため、これらのGPUに割増価格が付いている理由の1つとしてありそうなのは、交渉の前に価格を高めに設定しておくためだと考える。

食い違いのもう1つの理由として考えられるのは、データセンター向けGPUが、GPU間の通信帯域幅（ビット毎秒）に向けて部分的に最適化されていることである。私の価格性能比の指標はビット毎秒ではなく毎秒のFLOPだけを使っているので、この点は反映されていない。データやネットワークの一部が複数のGPUに分割されている場合、GPU間の通信速度はニューラルネットワークの学習のボトルネックになる。⁵⁷

付録E：記録を更新したコスト

手法1のデータセット：AlphaGo Zero が突出し、Minerva が最高

最も高額な学習の実行の推移（図9の赤い点）を見ると、コストの記録を更新したシステムは、学習計算量の記録を更新したシステムと似ている。⁵⁸注目すべきことに、この推定手法では、AlphaGo の全システム（Fan、Lee、Master、Zero）が記録を更新していた。AlphaGo Master と AlphaGo Zero は特に突出した外れ値で、AlphaGo Zero はトレンド線の平均より3.7桁上にある。AlphaGo Zero のこのコスト記録（ここでの推定は150万ドル）は、約4年後に言語モデルの Megatron-Turing NLG（210万ドル）と PaLM（320万ドル）が現れるまで破られなかった。これは、AlphaGo Zero 以前のどの期間（いずれも約2年以下）よりも、はるかに長い記録の間隔である。また、AlphaGo Zero は、金銭的な投資の面で Megatron-Turing NLG や PaLM よりも異例だった。比較すると PaLM は平均より1.7桁上にすぎず、2019年から2022年にかけては、コストが10万ドルから400万ドルのシステムがはるかに多く登場した。学習に最も費用がかかったシステムは2022年の Minerva で、推定320万ドルだった。

手法2のデータセット：GNMT が突出し、Megatron-Turing NLG が最高

手法2のデータセットで最も高額な学習の実行を検討する際の重要な注意点は、データセット全体（n=124）にあるシステムの多くが欠けていることである。特に、近年の Google と DeepMind の画期的なシステムの多くは含まれていない。NVIDIA GPU ではなく Google のTPUで学習されたからである。こうしたシステムには AlphaGo や PaLM がある。

そのうえで言えば、手法2のデータセット（図10）で記録を更新した学習コストの特徴は、手法1のデータセットと似ている。このデータセットで最も突出したコスト記録は、2016年9月に発表された GNMT である。GNMT のコストは推定30万ドルで、トレンド線より3.1桁上にある。次の記録は2020年5月の GPT-3 で、110万ドル、トレンドより2.1桁上である。この2つの記録の間隔は約3.5年で、このデータセットでは記録の間隔として最長である。このサンプルで最も高額なシステムは2021年後半の Megatron-Turing NLG で、300万ドル、トレンドより1.9桁上である。これは手法1を使った推定値の210万ドルより高い。

付録F：期間の取り方に対する回帰結果の頑健性

要点：

• 手法1が予測する平均増加率（およそ年0.5桁）は、期間を変えてもかなり頑健なようだ。4つの期間のうち、平均の最小値は0.44、最大値は0.58である。これらの増加率の信頼区間はおおむね重なっている。
• 手法2は、この点ではるかに頑健性が低い。3つの期間のうち、平均の最小値は0.35、最大値は0.84で、この2つの結果の90%信頼区間は重ならない。
• 手法2についてより大きなデータサンプルが得られれば、この頑健性の差はほぼ解消されると予想する。

機械学習システムの最終的な学習の実行にかかる計算コストについて、回帰結果がどれほど頑健かを確かめるため、期間を変えて回帰をやり直した。結果を表4に示す。特に意味があると思われる期間を選んだが（理由は後述）、無作為な期間を使うのも妥当だろう。

• 手法1と手法2の両方で、次の期間を使った。

  • 2015年9月〜2022年：この期間は、すべての「大規模」システムが登場する「大規模の時代」と一致させるために選んだ。この時代は分散が大きいのが特徴で、「ディープラーニング」のトレンドとは別に「大規模」のトレンドが生じているとも言えるからである。⁵⁹

  • 2009年〜2015年8月：同様に、この期間は「大規模の時代」の直前の期間として選んだ。

• 加えて、手法1についてだけ、2017年10月20日〜2022年の期間も使った。この期間は、AlphaGo の全システムを除外するために選んだ（ただし、2015〜2017年に登場した他のシステムも除外される）。AlphaGo の全システムがコストの記録を更新しており（こちらの節の図9を参照）、AlphaGo Master と AlphaGo Zero は特に大きな外れ値なので、AlphaGo の各システムのコストの値は回帰結果に大きな影響を与えると予想した。
  • なお、手法2のデータセットには、たまたま AlphaGo のシステムが1つも含まれていない。これらは Google のTPUで学習されており、私は NVIDIA GPU で学習したシステムのデータしか集めていないからである。

推定方法	期間	データ	増加率（年あたりの桁数）
手法1（ハードウェア価格の平均的なトレンドを使用）	2009– 2022（最長の期間）	全システム（n=124）	0.51 90%信頼区間：0.45〜0.57
		2009年〜 2015年8月	全システム（n=23）	0.55 90%信頼区間：0.34〜0.75
		2015年9月〜 2022年	全システム（n=101）	0.44 90%信頼区間：0.27〜0.61
		2017年10月20日〜 2022年	全システム（n=83）	0.58 90%信頼区間：0.35〜0.80
手法2（実際のハードウェア価格を使用）	2009– 2022（最長の期間）	全システム（n=48）	0.44 90%信頼区間：0.34〜0.52
		2009年〜 2015年8月	全システム（n=9）	0.84 90%信頼区間：0.61〜1.14
		2015年9月〜 2022年	全システム （n=39）	0.35 90%信頼区間：0.14〜0.55

表4：機械学習システムの最終的な学習の実行にかかる計算コストの増加率。期間を変えたコストデータに対する対数線形回帰による。

要点以外の観察：

• 2015年9月から2017年10月までの期間のデータは、推定される増加率を、そのデータがない場合よりも遅くしている。2015年9月〜2022年の期間を使うと増加率は0.44になるが、開始時点を（AlphaGo の全システムが発表された後の）2017年10月に移すと、増加率は0.58に変わる。
• 期間を2015年9月〜2022年に限定すると、サンプルサイズの減少は比較的小さいのに、信頼区間の幅は大きく広がる（手法1では0.12から0.34へ、手法2では0.18から0.41へ）。これは、2009年〜2015年8月の期間と比べてこの期間のコストの分散が大きいためだと考える。その様子は図2と図4で目視でも確認できる。
• 2009年〜2015年8月の期間での手法2の増加率は他の結果と根本的に異なるが、サンプルサイズが非常に小さいため、他の結果よりもずっと軽く扱っている。2015年9月〜2022年の期間では、全期間の結果にずっと近い値になる（0.44に対して0.35）。

付録G：手法2の増加率は機械学習システムのサンプルが小さいことによるが、その推定値は平均して手法1の約2倍である

図11が示すように、手法2で得た増加率（年0.44桁）は、離散的なGPUの価格性能比のデータを使ったことよりも、機械学習システムのデータセットが小さいことに主に左右されている。というのも、この小さなデータセットに手法1を使っても、トレンドの増加率は同じになるからである。増加率が似ていることから、手法2はより優れたGPUが発売されてから機械学習の学習の実行に使われるまでの遅れを考慮しているものの、データセットの中でその遅れは平均するとほぼ一定であると考えられる。トレンドの傾きは同じだが、予測は約7か月ずれている。⁶⁰言い換えれば、手法2の平均予測は一貫して手法1のトレンド線の約2倍である。⁶¹

付録H：コスト推定値の比較対象

PaLM と AlphaGo Zero についての他のコスト推定値は高すぎるようだが、私の推定値もおそらく低すぎる

以下は他の情報源による3つのコスト推定値で、私が使ったものよりもシステム固有の推定手法にもとづいている。

1. PaLM：1,700万ドル、2,310万ドル、920万ドル。手法1による推定値の320万ドルと比べてほしい。⁶²
   1. 1,700万ドル：推定モデルは、基本的にこちらの節の最後に示した式である。つまり、コア時間で表した学習時間、ハードウェアのコア数、そのハードウェアのクラウドコンピューティング価格を掛け合わせる。
   2. 2,310万ドル：学習計算量とハードウェアの価格性能比を使う私の推定モデルと似ている。ただしここでは、私が使った（hardware_unit_price / hardware_replacement_time）の式の代わりに、クラウドコンピューティングの価格を使っている。この $/s の値によって、FLOP/s が FLOP/$ に換算される。
   3. 920万ドル：(a) の手法と似ているが、LambdaLabs のクラウドコンピューティング価格を使い、TPU V4 の代わりに NVIDIA A100 GPU を当てはめている。
2. AlphaGo Zero：3,500万ドル。手法1による推定値の150万ドルと比べてほしい。 4. 3,500万ドルという推定値の推定モデルは、基本的にこちらの節の最後に示した式である。つまり、学習時間、ハードウェアの台数、そのハードウェアのクラウドコンピューティング価格を掛け合わせる。
3. GPT-3：460万ドル。手法2による推定値の110万ドルと比べてほしい。 5. ここでの推定方法は、NVIDIA V100 GPU 1基で学習した場合の仮想的な学習時間を計算し、その学習時間に当時の Lambda での V100 のオンデマンドのクラウドコンピューティング価格（1時間あたり）を掛けるというものである。私の推定値との違いは、想定したハードウェア利用率（私は35%、この推定は25%）⁶³と、1時間あたりのハードウェアコスト（私は0.52ドル、この推定は1.50ドル）にある。⁶⁴

上記の参考推定値はいずれも、システム開発者にとっての実際のコストの少なくとも2倍の大きさだと考える強い理由がある。 なぜなら、どの推定値も、エンドユーザーがクラウド事業者にハードウェアを1時間単位でオンデマンドで借りる場合の価格にもとづいているからである。2022年8月26日時点で、Google Cloud は TPU V4 の価格について、1年間のレンタル契約で37%、3年間のレンタル契約でオンデマンド価格から55%の割引を提供している。おそらく Google Cloud は、55%の割引を適用しても利益を上げているのだろう。したがって、自社の計算クラスタを使う Google Research のようなAI開発者にとっては、⁶⁵最終的な学習の実行のコストは少なくとも55%低く、おそらくはさらに低いはずである。上記の PaLM の推定値のうち私の手法に最も近いもの（2,310万ドル）から55%割り引くと1,040万ドルとなり、私の推定値の320万ドルにずっと近づくが、それでもまだ大きく離れている。

AlphaGo Zero については、学習に使われた自己対局データの生成は TPU V1 チップで行われた。このチップは、当時の Google Cloud のGPU 1基と比べて約20倍高価だった。⁶⁶参考推定値によれば、TPUの計算コストはGPUの計算コストをはるかに上回っていた。DeepMind や Google が、これらのTPUを購入するのに相応の高い割増価格を支払った可能性はある。しかし、2017年の Wired の記事には「Zero の開発中、システムは同社にとって最大3,500万ドルもするハードウェアで学習されたと［DeepMind の CEO である Demis Hassabis］は言う」とある。⁶⁷これは上記の AlphaGo Zero の学習用計算資源のコストの推定値（2020年に出されたもの）と同じだが、おそらくある程度は偶然の一致だろう。私はこの記事を、TPUの購入コストが3,500万ドルだったという意味に解釈している。そのコストを正当化するには、TPUはおそらく、（少なくとも合計で）AlphaGo Zero 自体と同程度の計算量を使う、AlphaGo Zero 以外の目的にも使われたと考えられる。したがって、この証拠はやはり、AlphaGo Zero の学習の実際のコストが少なくとも3,500万ドルの半分（つまり約1,700万ドル）であることを示していると考える。とはいえ、それでもこのシステムについては、私の推定値が低すぎる可能性が高いことになる。

別の参考値として、Cotra と Davidson は AlphaGo Zero のコストを280万ドルと推定しており、私の推定値は150万ドルである。ただし、私は彼らと同じFLOP単位の学習計算量の推定値を使ったので、この推定値は私のものと強く相関している。Cotra と Davidson は計算に約 1e17 の FLOP/$ の推定値を使ったが、⁶⁸私は約 2e17 を使った。⁶⁹

別の付録では、私のデータセットにある各機械学習システムの最終的な学習の実行にかかった本当の計算コストは、手法2の推定値の2倍（90%信頼区間：0.4倍〜10倍）だという、私の総合的な最善の推測について説明する。

Forecasting TAI with biological anchors

変革的AI（TAI）の到来を予測する Cotra の生物学的アンカーモデル（以下「Bioanchors」）の構成要素の1つに、「支出の意思」がある。これは、ある時点で主体がAIの学習の実行に支出してもよいと考える最大の金額である。簡単に言えば、Cotra は支出の意思を時間の指数関数としてモデル化した。当初の増加率は計算用ハードウェアの長期的な過去のトレンドにもとづき、その後、最も豊かな国のGDPによって決まる増加率へと平坦化していく。⁷⁰

Bioanchors モデルの主要なパラメータの1つは、予測期間の開始時点（2025年）での、最も高額な学習の実行の計算コスト（2020年の米ドル建て）である。これについての Cotra の最善の推測は10億ドル（つまり $10^9）だった。私のデータと推定値によれば、2022年の計算資源の最大支出は Minerva (540B) で、$10^6.5、つまり約350万ドルだった。全システムの増加率についての私の総合的な推定値であるおよそ年0.5桁を使うと、2025年初めまでに、（2022年6月に発表された）Minerva と比べて約1.25桁の増加が予測される。つまり、私のモデルは2025年までに最大支出が 10^(6.5 + 1.25) = $10^7.75（約6,000万ドル）になると予測する。これは Cotra の最善の推測よりおよそ1桁低い。

「大規模」のトレンドの値を使うと、2025年までの推定値はさらに低い 10^(6.5 + [2.5年 × 年0.24桁]) = 10^7.1（約1,000万ドル）になる。⁷¹別の付録の分析にもとづくと、Minerva についての私の起点のコスト推定値は過小評価である可能性が最も高いと考える。一方で、全システムを含むトレンドよりも、ゆるやかな「大規模」のトレンドのほうが、学習コストの長期的な上限をよりよく予測すると考える。そこで、私の起点のコスト推定値が1桁大きく、$10^7.5 だったと仮定してみよう（実際の最高額のコストはそれより低かった可能性が60%を超えると考えている⁷²）。その場合、私の最善の推測は $10^8.1（約1億3,000万ドル）となり、それでも Cotra の最善の推測よりおよそ1桁低い。

Cotra の支出の意思のモデルのもう1つの主要なパラメータは、予測期間の開始時点（2025年）での、最も高額な学習の実行への計算資源の支出の増加率（年単位）である。Cotra の最善の推測によれば、この増加率は2035年ごろまで支配的で、その後はGDP成長の限界が支配的になる。このパラメータについての Cotra の最善の推測は、倍増期間2年である。⁷³これは Trends in GPU price-performance で見いだされたGPUの価格性能比の増加率（倍増期間2.5年）に近く、log10(2)/2 ≒ 年0.15桁に相当する。

ここでも、私の結果が予測する増加率は年約0.5桁（倍増期間にして約0.63年）で、Cotra の最善の推測である年0.15桁よりはるかに速い。Cotra も推論の中で過去の急速な増加を考慮しており、この種の増加は2020年から2025年まで続くが、その後はハードウェアの価格性能比に近い、より長期的な過去の増加率に戻ると考えていた。⁷⁴2016年以降の「大規模」システムの増加率がすでに年0.2桁とゆるやかになっているという知見は、⁷⁵支出の増加の鈍化が、Cotra が2020年に予想したよりも早く起きている可能性を示唆している。

Cotra の支出の意思のモデルの残り2つのパラメータ、つまり主体が計算に支出してもよいと考えるGDPの最大割合と、GDPの成長率については、私の知見に大きな含意はないと考える。

AI and Compute（CSET）

CSET の「AI and Compute」（Lohn & Musser, 2022）は、ここで使ったものと似た手法で、学習計算量（FLOP単位）の増加率とハードウェアの価格性能比（FLOP/$ 単位）の増加率を組み合わせ、学習用計算資源のドル建てコストを予測している。Lohn と Musser の分析は計算量の増加率に最も敏感である。彼らが使った増加率（倍増期間3.4か月、年1.1桁に相当）⁷⁶が、FLOP/$ の増加率（彼らの中央推定値では倍増期間4年、年0.08桁に相当）よりもはるかに遅いからである。⁷⁷したがって、彼らが推定する学習コストの増加率は 1.1 − 0.08 ≒ 年1.0桁となる。⁷⁸これは、2009〜2022年の過去の増加率についての私の総合的な推定値である年0.49桁のおよそ2倍である。つまり、彼らの手法では2027年までにコストが+5桁増える（その年までの米国GDPの予測値にほぼ相当する）と予測されるのに対し、私の手法ではその倍の期間、つまり2032年までにその分の増加が予測される。大規模システムについて見いだした、より控えめな年0.2桁の増加率を使うと、+5桁に達するのは21年後（2043年）になる。⁷⁹近年の支出の増加は今後数十年にわたって持続不可能に見える、という基本的な論点は変わらない。しかし、計算資源への支出が2027年に頭打ちになるのか2043年に頭打ちになるのかでは、AIの到来時期やAIガバナンスにとっての含意がかなり異なると考える。

本研究と CSET の「AI and Compute」のもう1つの食い違いは、2022年の最も高額な学習の実行についての推定値である。同報告書の p.10 に書かれているように、Lohn と Musser は、2018〜2019年の推定倍増期間3.4か月を2021年まで延長して、4億5,000万ドルというコストを得ているようだ。⁸⁰この推定値は実際のコストとしては高すぎると考える。⁸¹同報告書が2022年に発表されたことを考えると、2021年に4億5,000万ドルのコストを想定するのは強気すぎると思う。既知の公開された機械学習システムのうち、最終的な学習の実行にそれだけのコストがかかったものは、ほぼ確実に存在しなかったからである。私の推定値と他の研究の推定値（こちらの節を参照）にもとづき、2021年に行われた最も高額な機械学習の学習の実行の計算コストは、少なくとも1桁低かった（つまり4,500万ドル未満だった）と、70%の確信度で考えている。

付録I：学習コストの増加率についての総合的な最善の推測

別の付録では、機械学習システムの学習にかかる計算コストを評価・予測した先行研究を、私の結果と比較しながら検討した。この付録では、その検討をもとに、次の問いに対する私の総合的な最善の推測とその理由を述べる。どのような一定の増加率を置けば、変革的な機械学習システムの最終的な学習の実行のコストを最も正確に予測できるか。ここでは Cotra (2020) のように、この増加率が、世界総生産の成長による上限に達するまで維持されるモデルを想定している。この増加率についての私の独立した印象は年0.3桁（90%信頼区間：年0.1〜0.4桁）であり、すべてを考慮した見解は年0.2桁（90%信頼区間：年0.1〜0.3桁）である。理由は次のとおりである。

• 本レポートの結果を出発点として、「大規模」システムの増加率（手法2のサンプルサイズは小さすぎると判断したため、手法1で得たもの）と、「全システム」の総合的な増加率の混合モデルを作った。⁸²これらの増加率は、それぞれ表3と表2に示している。その結果、総合的な増加率は年0.39桁（90%信頼区間：年0.13〜0.55桁）となった。

• この初期の結果が妥当かどうかを確かめるため、最終的な学習の実行への支出の上限がどこにありうるか、そして現在の増加率にもとづくとその上限にいつ達するかを検討した。

  • 支出の上限については、Cotra (2020) に従い、最も豊かな国のGDPの1%とした。⁸³ただし私の方法は Cotra の方法よりもさらに単純で、米国の現在のおおよそのGDPの1%を一定の上限としているだけである。

    • 米国のGDP：約20兆 ≒ log10 単位で13.3⁸⁴

    • その1%＝13.3 − 2＝log10 単位で11.3＝2,000億ドル

      • 参考値の1つとして、Wikipedia によれば、Alphabet の2021年の売上高は2,576億ドルだった。したがって現在でも、この予算で Alphabet の売上高がすぐに吹き飛ぶわけではない。しかし、Alphabet が売上高の大半を1回の機械学習システムの学習の実行に賭けるとは考えにくい。そのため、この上限は、現在ではありえないが、10年以上先ならば十分にありうる金額として妥当だと考える。

  • 私のデータでは Minerva がこれまでで最も高額なシステムであることが示唆されているので、Minerva について予測したコスト（log10 単位で6.5）を起点として使う。

  • したがって、その支出の上限に達する年は 2023 ＋（11.3 − 6.5 桁）／（年0.39桁）≒ 2023 ＋ 12 ＝ 2035 となる。

    • 判断の材料は、現在の民間テック企業の売上高（たとえば Alphabet の2021年の売上高は2,576億ドルと報じられている）と、AIの能力が向上してより多くの収益を生むようになったときに1回の学習の実行に支出してもおかしくない額についての、私のごく大まかな直観である。それにもとづくと、1つの機械学習システムの学習のための計算資源への支出が2035年までに2,000億ドルに達する可能性は10%を超えると考える。
    • しかし、2035年までにそうなる可能性が50%を超えるとは考えない。
    • したがって、増加率についての私の最善の推測は年0.4桁未満でなければならない。

  • 支出の増加は2025年以降、倍増期間2年（年約0.15桁）へと鈍化するという Cotra の推論にも説得され、より低い増加率を選ぶことにした。

  • Lohn & Musser (2022) は、近年の計算資源への支出の増加が続けば2030年より前に米国GDPに匹敵する額に達するが、それはありえないと論じた。⁸⁵支出が米国GDPに匹敵する規模になるのはありえないというこの主張は、先に述べた見解の相違とはほぼ独立したものとして扱う。したがって、この主張にも説得され、より低い増加率を選ぶことにした。

  • 以上の証拠をどう重み付けるかについての直観的な判断にもとづき、初期の増加率である年0.39桁（90%信頼区間：年0.13〜0.55桁）を25%引き下げて、年0.29桁（90%信頼区間：年0.10〜0.41桁）とした。私の方法は精度に欠けるので、これを丸めて年0.3桁（90%信頼区間：年0.1〜0.4桁）とした。この推定値が私の独立した印象である。

  • 私のすべてを考慮した見解は（独立した印象とは異なり）、Cotra (2020) により強く従い、初期の増加率の推定値を50%引き下げて年0.2桁（90%信頼区間：年0.1〜0.3桁）としている。繰り返しになるが、この引き下げの程度は、原理的な計算ではなく、どれだけ補正すべきかについての私の直観だけにもとづいている。

なお、現在からTAIまでの期間全体とは対照的に、より短い時間スケール（たとえば2〜5年）で測れば、大規模システムの学習コストの増加率は、現在からTAIが開発されるまでのどこかの時点で年0.3桁を上回る可能性が最も高いと予想している。AIが経済に大きな影響を与えうることが目に見えて示された時点で、AIへの投資の増加率が高まると予想しているからである。⁸⁶ただし、AIへの投資、AIへの支出の配分、AIシステムが生み出す収益のトレンドと相互の関係については、現時点では不確実性が大きいと考える。そのため、これらの分野を調べることは今後の研究の重要なテーマである。

付録J：学習コストについての総合的な最善の推測

本研究で使った2つのコスト推定手法は、どちらも、機械学習システムの最終的な学習の実行にかかる計算資源の本当のコストについての、私のすべてを考慮した最善の推定値を直接表すものではない。これらの手法による推定値は参考になるが、強い単純化の仮定を置いており、真の値に対して偏りと分散を加えると予想される。この付録では、学習コストについての総合的な最善の推測を得るために、これらの限界をごく大まかにどう考慮したかを説明する。

手法2は各機械学習システムの学習に使われた特定のハードウェアの価格を使うので、手法2のコスト推定値は手法1よりも正確だと考えている。そこで、最善の推測の基準点には手法1ではなく手法2を使う。ただし、手法2の過大評価と過小評価の要因を考慮すると、両者はおおむね相殺し合うことが分かった。そのため、手法2の推定値はたまたま私の最善の推測と近くなっている。一方、手法1の推定値はこの最善の推測のおよそ2分の1である。

私の独立した印象では、手法2の推定値は平均すれば正確である。ただしこれは、手法2を直接最善の推測として選んだからではなく、過大評価と過小評価の要因がおおむね相殺し合うからである。しかし、手法2の推定値は他の情報源による推定値よりずっと低いので（こちらの節を参照）、私のすべてを考慮した見解では、私のデータセットにある各機械学習システムの最終的な学習の実行にかかった本当の計算コストは、手法2の推定値の2倍⁸⁷（90%信頼区間：0.4倍〜10倍）⁸⁸である。

手法2

この手法がどう不正確かについての総合的な最善の推測

この手法での過大評価の要因（0.46倍）と過小評価の要因（2倍）を考慮すると、両者はおおむね相殺し合う。したがって、私の最善の推測としての独立した印象は、手法2の推定値は平均すればおおむね正確だというものである。ただし、その最善の推測に対する私の90%信頼区間は、手法2の推定値の0.2倍〜5倍である（こちらの節を参照）。念のため言えば、要因が相殺し合うように誤差の推定値を修正したわけではない。思いつく限りの誤差の要因をそれぞれ推定した結果としてこうなったのであり、要因がたまたまおおむね相殺し合ったことには私自身驚いている。

過大評価の要因

• 全体：以下に挙げる過大評価の要因だけを考慮すると、真の値は (1 − 0.39) × (1 − 0.25) ≒ 0.46、つまり当初の推定値より54%低くなる。

• GPUの最大規模の購入（たとえばクラウドコンピューティング事業者や、自前のデータセンターを持つトップクラスのAIラボによる購入）で実際に支払われるハードウェアコストは、通常、公表されている価格より低いだろう。そうした買い手は、購入の際に交渉して価格を引き下げると予想されるからである。⁸⁹また、明示的な交渉はないものの、ハードウェアの購入に適用される非公表の大量購入割引もありうる。これを考慮すると、GPUの最大規模の購入で実際に支払われる価格は、私が推定に使った価格の半分だというのが私の直観的な推測である。ただし、産業界が関わったシステムの数にもとづくと、この値引きが当てはまるのは私のデータセットの機械学習システムの77%だけだとも推測している。⁹⁰77%のケースでコストが50%減れば、平均でコストは約39%減ることになる。（誤差+39%）

• 同じGPUモデルのハードウェア価格は、十分に長い時間スケール（2〜4年）では全体として下がる傾向がある。（誤差+16%）

  • 価格は上下に変動する。しかしこの記事の最初のグラフによれば、2年の間隔で見ると、NVIDIA のデータセンター向けGPUの大半は価格が下がっている。そのグラフにあるすべてのGPUで、2022年の価格は当初の価格（さかのぼると2012年のものもある）より低い。
  • この下落を平均で推定する
    • 図7で NVIDIA V100 GPU を使った機械学習システムの実際の時期を見ると、その使用は過去4年にわたっている。これにもとづき、あるGPUモデルについて、そのモデルで学習した私のデータセットの機械学習システムは、平均してその期間のちょうど中ほど、つまりGPUモデルの発売から2年後に発表されたと仮定する。
    • GPUの価格性能比のトレンドが、新しいGPUほど1ドルあたりのFLOP/秒が高いことだけでなく、古いGPUが同じペースで安くなることも意味すると仮定すれば、既存の各GPUは2.5年ごとに半額になるペースで安くなっていくことになる。
    • これは、既存の各GPUが発売の1年後に 2^(-2/2.5) ≒ 57% の価格になる、つまり43%下がることを意味する。
  • 別の方法として、発売後最初の2年間における NVIDIA GPU（PCI-Express 版）の実際の価格の変化を調べた（これもこの記事の最初のグラフにもとづく）。

    • A100：約15%下落

    • V100：約20%上昇

    • P100：変化約0%

    • K80：約20%下落

    • K40：約15%下落

    • K20：約10%下落

    • 重み付けなしの平均：(-15 + 20 + 0 + -20 + -15 + -10) ≒ 7%の下落

    • つまり実際のデータは、価格性能比の倍増期間2.5年から導かれるものよりも小さな下落を示している（それぞれ7%と25%）。ただし、これは2020年ごろの半導体不足によってやや偏っている。半導体不足によって、2020年に V100 と A100 の価格が上がったからである。⁹¹

    • ここでも、あるGPUモデルで学習した私のデータセットの機械学習システムは、平均してそのGPUモデルの発売から2年後に発表されたと仮定し、この7%の下落を7%の過大評価と解釈する。

  • 上記の43%と7%の推定値を平均すると、ハードウェア価格は25%下がることになる。これだけでも、私のコスト推定値は25%高すぎることが示唆される。

過小評価の要因

• 全体：以下に挙げる過小評価の要因だけを考慮すると、真の値は (1 + 0.4) × (1 + 0.2) × (1 + 0.2) ≒ 2.0、つまり当初の推定値より100%高くなる。

• モデルによっては、クラウドコンピューティング事業者が提供する計算資源を使って学習されたかもしれない。その場合、クラウドコンピューティング事業者の利益率の分だけ、学習コストは高くなる。

  • クラウドコンピューティングの利益率を67%とすると、⁹²過小評価の倍率は 1/(1 − 0.67) ≒ 3倍になる。ただし、これが当てはまるのは機械学習システムの20%だけだと推測する。5件に1件のシステムのコストが私の推定の3倍なら、平均コストの増加倍率は（通常のシステム4件×1＋クラウドコンピューティングのシステム1件×3）／（5件）＝ (4 + 3) / 5 ＝ 1.4、つまり40%の増加となる。（誤差−40%）

• ハードウェアを動かすエネルギーコストを無視している。（別の付録の GPT-3 の例にもとづき、誤差−20%。）

• データセンターを構成する他のハードウェア（スイッチ、相互接続ケーブルなど）のコストを無視している。（誤差−20%。これはエネルギーコストの誤差を目安にした直観的な推測である。このコストの割合がこれよりずっと大きいとしたら驚く。現代のGPUには極めて高度な製造技術が必要であることを考えると、GPUは個々のハードウェア部品として、他のすべてを合わせたものより高価なはずだと思われる。）

全体として推定値に分散を加えるが、大きな偏りは加えないとみられる要因にもとづく信頼区間

以下では、手法2のコスト推定式に含まれる変数について、90%信頼区間を推定する。⁹³そのうえでそれらの信頼区間を組み合わせ、私の学習コスト推定値の全体的な90%信頼区間として、中心推定値の0.2倍〜5.0倍を得る。これらは主観的な推定値である点に注意してほしい。数値の選び方は、最も精密な最善の推測を純粋に選んだというより、切りのよい数値にすることにある程度影響されているだろう。

• ハードウェア価格（ドル）：中心推定値の0.5倍〜2.0倍
  • 市場の力による経時的な変動
    • 1.5倍程度の変動がよくあるようだ（観察については脚注12を参照）
    • そうした限られた観察が示すよりも保守的にするため、0.5倍〜2倍の倍率を選んだ
• 計算量（FLOP単位）：中心推定値の0.5倍〜2.0倍
  • Sevilla et al. (2022, p.16) と同じ不確実性の倍率、0.5倍〜2倍を使った。
• ハードウェア利用率（%）：10%〜60%（中心推定値の0.29倍〜1.71倍）
  • この信頼区間は、記事 Estimating Training Compute of Deep Learning Models の「About GPU utilization rates」の囲みにもとづいて選んだ。この囲みは、利用率の具体的な推定値を11件挙げている。
    • 下限
      • その節で報告されている最も低い利用率は10%だが、この数値は元の著者によって「主観的な推定値」として報告されたものである。
      • (Patterson et al, 2021) の図5で、著者らは GPT-3 について20%（25÷125）という低いGPU使用率を報告している。これは、その記事で挙げられたいくつかの例の中で2番目に低い数値である。
      • 全体として、報告されていない20%未満の利用率がありうることを考慮し、5パーセンタイルとして10%を選ぶのは妥当だと思われる。
    • 上限
      • ハードウェア利用率についての私の不確実性は、対数正規分布より正規分布でモデル化するほうが適切だと考える。利用率は百分率であり、報告された値は20%から50%の間にかなり集中しているようだからである。
      • そこで正規分布の対称性から、5パーセンタイルが平均の35%より25ポイント下なら、95パーセンタイルは25ポイント上の60%とすべきである。これは私の中心推定値35%のおよそ1.71倍である。
      • この60%という選択の確認として、その記事に挙げられた実際の画期的な機械学習システムで達成された最も高い利用率は、Google の LaMDA モデルの56.5%である。したがって60%を選ぶのは妥当に思えるが、95パーセンタイルとしては低すぎるかもしれない。
        • より高い数値も挙げられている（「単一のGPUでさまざまな畳み込みニューラルネットワークを使った実験」にもとづく75%や、「GSPMD は大規模で最大62%の利用率をもたらすと報告されている」）。しかし、画期的な機械学習システムの大半は複数のGPUで学習されてきたというのが（厳密に確認したわけではないが）私の印象なので、実際のほとんどの画期的な機械学習システムについて、これらの数値がそれほどありそうだとは思わない。
• ハードウェアの交換時期：1〜4年（中心推定値の0.5倍〜2.0倍）
  • より優れたハードウェアが発売される周期や、交換作業にかかる間接コストを考えると、連続使用1年未満でハードウェアを交換するのは不合理に思われる。Morgan (2022) の最初のグラフによれば、NVIDIA はおよそ2年ごとに新しいデータセンター向けGPUを発売しているようだ。一方、より優れたデータセンター向けGPUが機械学習に採用される時期（図7を参照）を踏まえると、ハードウェアの交換を連続使用4年より長く待つのも不合理に思われる。そこで、これについての私の90%信頼区間は1〜4年とした。
  • 推定に実際に使った数値は2年なので、不確実性の倍率は0.5倍〜2倍となる。

信頼区間を推定するため、学習コスト（私の中心推定値に対する比、たとえば0.5倍で表す）の10,000サンプルの5パーセンタイルと95パーセンタイルをとった。⁹⁴各サンプルでは、上記の各変数について、上で示した範囲を持つ対数正規分布⁹⁵から倍率を抽出した。そしてそれらの倍率をコストの式に従って掛け合わせたり割ったりして、そのサンプルの最終的なコスト比を得た。その結果、学習コストの全体的な90%信頼区間は中心推定値の0.2倍〜5.0倍となった。

手法1

別の付録での手法1と手法2の推定値の比較にもとづくと、手法1の推定値は平均して手法2の2分の1だというのが私の最善の推測である。つまり手法1は手法2と同じような点で不正確だが、それに加えて、平均してコストを2分の1に過小評価している。