直接的アプローチのインタラクティブモデル

要約：この記事では、変革的AIを予測するためのインタラクティブなモデルを示す。ここでいう変革的AIとは、広く展開されれば産業革命に匹敵する変化を引き起こすAIのことである。直接的アプローチ（Direct Approach）の結果を紹介するのに加えて、主要な入力値（アルゴリズムの進歩、投資、ハードウェアの効率）を外挿する単純なモデルを示す。このモデルは、変革的AIが展開される時期について、利用者が調整できる予測を出す。モデルは四つの部分からなる。

• 直接的アプローチの枠組みで推定した必要な計算量
• アルゴリズムの進歩の予測
• 変革的AIモデルの学習への投資の予測
• 利用可能な計算資源とそのコストの予測

これらの要素を組み合わせて、変革的AIに必要な計算量が将来のある年に満たされる確率を推定する。過去の推定値で較正した既定のパラメータ値のもとでは、この単純な外挿モデルは、2050年までに変革的AIが開発される確率を高く見積もる。

この結果は、アルゴリズムの進歩と計算資源のスケーリングの現在の傾向が続けば、数十年のうちに科学の進歩と経済成長に劇的な影響を及ぼすAIシステムが生まれる可能性が高い、という意味だと私たちは受け取っている。このモデルの出力を、変革的AIがいつ到来するかという問いについて、著者らがあらゆることを考慮したうえでもっている見解と解釈すべきではない。むしろこのモデルは、十分な情報に基づく外挿モデルが出しうる予測を例示するものとみなすのがよい。

変革的なタスクでAIモデルが人間並みの性能を達成する時期を予測しようとする試みは、これまで数多くなされてきた。^{1 2} 本稿もその一つで、用いるのは私たちの直接的アプローチの枠組み（Barnett and Besiroglu, 2023）で、ニューラルネットワークのスケーリング則を使って、変革的なモデルの学習に必要な計算量に上限を与えるものだ。私たちの研究に最も近いのは、Forecasting TAI with biological anchors（Cotra, 2020）である。

私たちの予測モデルには、下の図に示す四つの、利用者が調整できる要素がある。モデルの学習への投資、ハードウェアの価格性能比、アルゴリズムの進歩、そして直接的アプローチが出す必要な計算量である。これらを合わせて、各年にTAIが学習される確率を出す。投資とハードウェアの価格性能比を組み合わせると、ある年に利用できるFLOPの総量の推定値（私たちはこれを「物理FLOP」と呼ぶ）が得られる。物理FLOPの量をアルゴリズムの進歩を考慮して調整すると、「実効FLOP」の量の推定値が得られる。実効FLOPとは、アルゴリズムが改善しなかった場合に、ある性能水準に達するのに必要となる物理FLOPの量である。最後に、この実効FLOPの推定値を、直接的アプローチが出す必要なFLOPと比べる。実効FLOPの量がその必要量を上回ったとき、TAIが達成されたとみなす。

必要な計算量

人間並みのAIに必要な計算量は、私たちの直接的アプローチの枠組みで求める。これはニューラルネットワークのスケーリング則の外挿に基づく手法である。この手法には三つのパラメータが必要で、詳しくは（Barnett and Besiroglu, 2023）で説明している。私たちの推定値は、例示を目的とした、きわめて思弁的なパラメータの見積もりである。Chinchillaのスケーリング則が、科学的なデータではなくインターネットのデータで学習させたモデルから導かれたことも考慮している。

スケーリング則。 Hoffmann et al., 2022が推定したスケーリング則を用いる。その形は$L=E+A{N}^{-\alpha }+B{D}^{-\beta }$である。パラメータの中心推定値は、A = 306、B = 411、$\alpha$ = 0.34、$\beta$ = 0.28だ。これらを正規分布の平均としてモデル化し、標準偏差はパラメータAとBについては25、$\alpha$と$\beta$については0.05とする。

K性能。 これは大まかに言えば、あるタスクで人間の判定者がモデルの出力と人間の専門家の出力を確実に見分けるのに必要な、モデルが生成したトークンの平均数を指す。社内の調査から作った既定の分布は対数正規分布で、80%信頼区間は2,000〜222,000である。この値は、典型的な科学論文の原稿のトークン数を目安にした。³ ここには、本物と見分けのつかない科学的成果を生み出すことが、AIが習得すれば変革的になる可能性が高いタスクの有力な候補だ、という私たちの見方が反映されている。

減速係数。 このパラメータは、人間の書いたテキストとコンピュータが生成したテキストを見分ける際に、人間の判別者が、理想的なベイズ予測器と比べて何倍のトークンを見る必要があるかを表す倍率である。社内の調査を踏まえ、中央値53.1、15パーセンタイル9.84、85パーセンタイル290の対数正規分布を課す。人間の訓練された判定者が、本物のテキストとモデルが生成したテキストをどれだけ速く見分けられるかについて、信頼できるデータはまだないので、このパラメータは、検討したすべてのパラメータの中でおそらく最も主観的なものだ。

これらの分布から、必要な実効FLOPについて次の分布が得られる。⁴

この分布にはさらに調整を加える。O(1e25) FLOPの水準ではまだ変革的AIが達成されていない、という観察を反映させるためだ。この水準は、これまでで最大の学習実行の計算規模に相当する。⁵

直接的アプローチの枠組みが与えるのは緩やかな上限である。つまり、あるパラメータ値の組について、必要な実効計算量がその上限を超えないとある程度確信できる、ということだ。上限にとどまる理由は、人間の推論を模倣するよう大きなモデルを学習させる方法よりも効率的に、質の高い推論を自動化する手段が開発されるかもしれないからである。とはいえ、ディープラーニングに基づく自己回帰モデルがAIの主流の手法であり続けると仮定するなら、この上限が実際に必要な量より数桁を超えて大きくなる可能性は低いと私たちは考えている。この枠組みが中心推定値ではなく上限を出すことを補正するため、必要な計算量の分布を、10^25の点を中心に5/7倍に自動で縮め、小さい計算量の値により多くの確率を割り当てた。

アルゴリズムの進歩

アルゴリズムの進歩とは、機械学習モデルのアルゴリズムとアーキテクチャの改良によって、ある性能水準に達するのに必要な計算量が減ることを指す。

アルゴリズムの進歩のモデル化には、三つのパラメータを使う。

効率改善の基準ペース。Erdil and Besiroglu (2022)は、コンピュータビジョンのモデルにおけるアルゴリズムの進歩の過去のペースを、年0.4桁（80%信頼区間：0.244〜0.775）と推定している。

領域転用の倍率。変革的なモデルに向けた進歩のペースは、コンピュータビジョンのアルゴリズムの進歩のペースとは意味のある程度に異なると予想しても、何ら不思議はない。これを考慮するため、基準となる成長率にあるパラメータを掛ける。このパラメータは、変革的になりうるモデルの進歩がコンピュータビジョンのペースよりどの程度速い（または遅い）と予想するかを表す。対数正規分布に従い、値は社内の調査で引き出した。

アルゴリズムの進歩の上限。これまで見られたアルゴリズムの効率の指数関数的な成長がいつまでも続くわけではない、と予想するのは理にかなっている。このパラメータは、2023年と比べて可能な性能の倍率の最大値を表すことで、この懸念に対処する。パラメータは対数正規分布に従い、既定の区間は社内の調査から取った。

各時間ステップで、アルゴリズムの効率は、基準となる成長率に領域転用の倍率を掛けた率で増える。こうして得られる倍率が上限に近づくにつれて、成長率はゼロに近づく。

投資

過去の実績では、2015年から2022年の期間に、大規模な学習実行への投資は年25.9%〜151.3%で増えてきた（Cottier, 2023a）。変革的になりうる学習実行への投資は、現在の学習実行のドル建てのコストの推定値、将来の世界総生産（GWP）の成長の予測、そしてそうした学習実行に費やされうるGWPの割合の最大値の推定値を組み合わせてモデル化する。

現在の支出。2023年の現時点で最大の学習実行のコストは6,100万ドルと推定する。GPT-4の学習コストについての私たちの暫定的な見積もり（Cottier, 2023b）を使い、それをCottier, 2023aで得られた過去の成長率に沿って更新した。

支出の年間成長。Cottier, 2023aにならい、支出は年146%〜246%（80%信頼区間）で増えると仮定する。

GWPの成長率。OECD, 2021は、世界のGWPが2060年に238兆ドルになると予測しており、これは年1.9%の成長率を意味する。これを、年0.400%〜4.75%の80%信頼区間の中心として使う。

学習に費やされるGWPの割合の最大値。学習実行への支出はGWPより速く増えているので、単純に外挿すると、いずれはGWPの何倍ものコストがかかる学習実行が現れることになる。これを考慮するため、1回の学習実行に費やしうるGWPの割合の最大値を表すパラメータを含める。暫定的に、これを0.0137%〜1.46%（80%信頼区間）とする。

支出が、GWPとGWPの割合の上限によって決まる限度に近づくにつれて、支出の伸びは鈍る。最終的には、支出の伸びは完全にGWPの成長によって制限される。

計算資源

計算資源について最初に考えるのは、1ドルあたりのFLOP/sの進歩である。最上位のGPUのFLOP/sの成長の予測（Hobbhahn and Besiroglu, 2022）に手を加えて、ハードウェアの特化による利益の推定値を組み込む。

ハードウェアの特化のパラメータは、特定のワークロードに向けた将来の調整を考慮するためのものだ。並列化の変更、メモリの最適化、データの特化、量子化などがこれに含まれる。そうした特化による利益は、ある上限まで積み上がると仮定する。⁶ そして、ハードウェアの特化による利益の年間の伸びを、社内の調査で引き出した値を使って対数正規分布でモデル化する。

各時間ステップで、その時点のFLOP/sの成長率を使って、典型的なGPUの耐用年数を推定する。この耐用年数と、典型的なGPUのコストの推定値を組み合わせると、その時間ステップで利用できるFLOP/$の推定値が得られる。⁷

これらのFLOP/$の数値と、上で述べた支出の予測を使えば、各年に利用できるFLOPの数（「物理FLOP」）を推定できる。

結論

物理FLOPの推定値と、先に求めたアルゴリズムの進歩の倍率の推定値を組み合わせて、各年に利用できる実効FLOPの数を得る。これを必要な実効FLOPの推定値と比べて、各年のTAIの確率を計算する。

TAIが実現する確率（各年までに）
2030	2050	2100
57%	85%	91%

分位点
10%	中央値	90%
2025	2029	2084

このモデルでは、各年について、実効FLOPの数が直接的アプローチの出す推定値を上回った場合に、変革的AI（TAI）が到来したとみなす。

ここで実装したモデルは根本的に外挿的なもので、過去のデータに基づく、ハードウェアとソフトウェアの進歩や投資の拡大の予測に依拠している。これは、こうした傾向を動かす経済的な過程を明示的にモデル化することで、そうした過程を「内生化」する、より洗練されたモデル（Davidson, 2022のモデルなど。Epoch AIによる実装はこちら）とは対照的だ。これらのモデル化手法の違いの評価はこの記事の範囲を超える。ただ、外挿的なモデルは内生的なモデルより幅の広い分布を出しうること、そして到来時期が特に遅くなる可能性を過大に見積もりがちであることには注意が必要である。

このレポートの草稿にフィードバックをくれたDaniel Kokotajlo、Carl Shulman、Charlie Giattinoに感謝する。また、提案とこれまでの研究について、Ege Erdil、Jaime Sevilla、Pablo Villalobosをはじめ、Epoch AIチームの皆に感謝する。

付録：シミュレーションの仕様

結果を得るため、以下に述べるモデルを何度も実行する。各実行（「ロールアウト」）は、モデルの各要素の値の推定値を出す。上に示した結果は、ロールアウト全体にわたる値の分布を表している。

以下では、次の記法を使う。

• $\lambda (D,l,u)$は、確率分布$D$を$(l,u)$の範囲に収まるよう再正規化する関数である。
• $x\leftarrow D$という記法は、$x$を$D$からサンプリングすることを表す。
• 関数$\kappa$は$\kappa (v,l)=l(1-\exp (-v/l))$と定義され、$v$の値が$l$を超えないよう制約する。

具体的な数値は、インタラクティブツールが示す既定の信頼区間に合う分布になるよう選んだ。対数正規分布は、その元になる正規分布の平均と標準偏差でパラメータ化している。

投資

各ロールアウトでは、次の値から始める。

• $P_{2023}=1.17e14$：2023年のGWPを表す。

• $p\leftarrow Lognormal(-1.96,1.82)$：1回の学習実行に費やしうるGWPの割合の最大値を表す。

• $S_{2022}=6e7$：2023年に1回の学習実行に費やしうるドル額の最大値を表す。

• $r_P\leftarrow \lambda (N(2.58,1.70),-1,\infty )$：GWPの成長率として働く。

• $r_S\leftarrow \lambda (N(62.7,22.3),-1,\infty )$：支出の上限を考慮する前の、支出の伸びとして働く。

更新には次の式を使う。

• $P_{t+1}=\left(1+\frac{r_P}{100}\right)P_t$、

• $S_{t+1}=\left(1+\frac{r_S}{100}\right)S_t$、

• $I_{t+1}=\kappa \left(S_t,\frac{p}{100}{P}_t\right)$。

ここで$I_t$は、$t$年の投資の推定値を表す。

アルゴリズムの改善

各ロールアウトでは、次の値から始める。

• $a\leftarrow Lognormal(1.65,0.656)$：可能なアルゴリズムの改善の最大値を桁数で表す。

• $R_a\sim N(0.550,0.156)$：コンピュータビジョンから外挿した、毎年のアルゴリズムの改善の基準となる予測を桁数で表す。

• $T_a\sim Lognormal(-0.410,0.488)$：領域転用の倍率を表す。

• $r_a\leftarrow T_a{R}_a$：毎年のアルゴリズムの進歩の伸びを表す。

更新には次の式を使う。

• $A_t=\kappa (10^{(t-2022)r_a},10^a)$、

ここで$A_t$は、$t$年に達成されたアルゴリズムの進歩の推定値を表す。

計算資源

$E_t$で、Hobbhahn and Besiroglu, 2022にある、$t$年の最上位GPUのFLOP/sの基準となる予測を表す。まず次の値から始める。

• $h\leftarrow Lognormal(-2.30,0.715)$：ハードウェアの特化によって性能が毎年何桁伸びるかを表す。

各時間ステップで、次のように置く。

• $H_t=E_t\cdot 10^{\max ((t-2022)h,{\log }_{10}(250))}$：FLOP/sの基準となる予測を、上限付きのハードウェアの特化による利益の予測を考慮して更新したものを表す。

• $D_t=\frac{365\cdot 24\cdot 60\cdot 60\cdot 1.2}{0.1+H_t/H_{t-1}}$：各GPUのコストを償却すると想定する期間の秒数を表す。

• $F_t=\frac{H_t{D}_t}{5000}$：最上位GPUの価格を5,000ドルと仮定したときの、$t$年に利用できるFLOP/$を表す。

統合モデル

あるロールアウトについて、$A_t{I}_t{F}_t>T$であれば、$t$年にTAIが達成可能であるとする。ここで$T$は、直接的アプローチが与えるTAIに必要なFLOPを表す。$P(\mathrm{TAI}\mathrm{by}\mathrm{year}t)$は、$A_t{I}_t{F}_t>T$となるロールアウトの割合と定義する。