機械学習の3つの時代にわたる計算資源の傾向

要約：1950年以降の機械学習モデルの学習計算量についてデータセットを収集し、主要な傾向を分析した。学習計算量には、深層学習以前の時代、深層学習の時代、大規模の時代という3つの大きな時代があることを特定した。さらに、学習計算量は2010年以降100億倍に増えており、倍増期間は約5〜6か月であることがわかった。詳しくは、最近の論文 Compute Trends Across Three Eras of Machine Learning を参照してほしい。

はじめに

機械学習（ML）の進歩が、アルゴリズム、データ、計算資源という3つの主な要因によって推進されていることはよく知られている。これは直観的にも納得がいく。誤差逆伝播法のようなアルゴリズムの開発は機械学習モデルの学習のあり方を一変させ、それ以前の最適化手法と比べて効率を大きく高めた（Goodfellow et al., 2016; Rumelhart et al., 1986）。データは、特に近年の「ビッグデータ」の到来によって、ますます手に入りやすくなっている。同時に、計算ハードウェアも急速に進歩し、ますます強力でAIに特化したハードウェアが登場している（Heim, 2021; Khan and Mann, 2020）。

それほど明らかでないのは、これらの要因の相対的な重要性と、それがAIの将来にとって何を意味するかである。Kaplan et al. (2020) はスケーリング則という観点からこうした発展を研究し、次の3つの主要な変数を特定した。

• 機械学習モデルのパラメータ数
• 学習データセットのサイズ
• 機械学習モデルの最終的な学習実行に必要な計算資源（以下、学習計算量と呼ぶ）

これらの相対的な重要性を理解しようとするのは難しい。理論的な理解が不十分だからである。そこで、大量のデータを集めて、そこから見える傾向を分析する必要がある。以前、私たちはMLモデルのパラメータ数の傾向を調べた。本論文では、学習計算量が時とともにどう変化してきたかを理解しようとする。

Amodei and Hernandez (2018) はこの研究の土台を築き、2012年から2018年にかけて学習計算量が $300,000\times$ に増え、3.4か月ごとに倍増していたことを明らかにした。しかし、この調査のデータ点は $15$ 程度しかなく、GPT-3（Brown, 2020）のような近年の最も目覚ましいMLモデルのいくつかが含まれていない。

こうした問題を踏まえて、私たちは機械学習モデルの学習計算量について、120を超えるデータ点を含むこれまでで最大のデータセットを整備した。このデータを使って、MLモデルへの投入物としての計算資源の重要性について、いくつかの新しい知見を得た。

これらの発見は、AI開発の将来に関わり、また計算資源のガバナンスや強力なAIシステムのある未来に政府がどう向き合うべきかにも関わってくる。

方法論

OpenAI のアプローチ（Amodei and Hernandez, 2018）にならい、MLシステムの学習計算量¹を求めるのに主に2つの方法を使う。

1. 演算回数を数える：学習計算量は、機械が行う算術演算の回数から求められる。モデルのアーキテクチャを調べ、学習過程を詳しく追えば、乗算と加算の総数を直接計算でき、学習計算量が得られる。MLモデルが（今もそうであるように）大幅に複雑になるにつれて、この方法は格段に手間がかかり、扱いにくくなる。また、この方法には学習過程の重要な詳細²についての知識が必要だが、それがつねに手に入るとは限らない。
2. GPU時間：モデルのアーキテクチャに依存しない2つ目の方法は、学習時間の合計とハードウェアについての情報を使って学習計算量を推定するものである。この方法では通常、学習過程についていくつかの仮定を置く必要があり、そのため最終的な値の不確実性が大きくなる。³

たいていの場合、上のどちらかの方法で特定のMLモデルの学習計算量を推定できた。実際には、この作業には多くの困難が伴った。使用したハードウェアや学習時間についての重要な情報を、著者が公表していないことが多かったからである。

もちろん、1950年以降のすべてのMLシステムについてこのデータを集めるのは不可能である。そこで、次の基準で画期的なシステムに絞り込む。

• 明確な重要性：歴史的に大きな影響を与えたシステム、最高水準を大きく改善したシステム、または被引用数が1000を超えるシステム⁴
• 関連性：実験結果と機械学習の主要な要素を含み、既存の最高水準を押し上げることを目指す論文だけを含める
• 一意性：同じシステムを記述した別の論文のほうが影響力が大きい場合、その論文はデータセットから除外する

こう選べば最も重要なシステムに絞って調べられ、最高水準を押し上げる主な要因を理解しやすくなる。

結果

これらの手法を使って、120を超える画期的なMLシステムの学習計算量を収めたデータセットを作成した。この種のものとしてはこれまでで最大のデータセットである。同じ方向のさらなる研究を促すため、このデータセットとインタラクティブなデータ可視化を公開することにした。

更新

この可視化は、注目すべきMLシステムについての情報を集めるにつれて更新されている。そのため、示されている傾向は最初の公開時とは異なる。

もともと本記事に掲載していたインタラクティブな可視化は、より充実した体験のために専用のページに移した。

更新された可視化はこちらで見られる。

集めたデータを分析して、主に2つの結論を得た。

• 学習計算量の傾向は、以前報告されていたより緩やかである
• 機械学習全体を通じて、学習計算量の使い方には3つの時代がある

計算資源の傾向は以前報告されていたより緩やかである

Amodei and Hernandez (2018) による以前の調査では、使われる学習計算量はきわめて急速に、3.4か月ごとに倍増していた。元の研究のおよそ10倍のデータを使うと、倍増期間は6か月に近いことがわかった。それでもなお、これは驚異的な速さである。2010年以降、機械学習モデルの学習計算量は100億倍に増えており、ムーアの法則を単純に外挿した値を大きく上回っている。

このことから、OpenAI の論文に基づく以前の分析の多くは、発展の速さを約2倍過大に見積もる方向に偏っていたと考えられる。

機械学習の3つの時代

本論文の、より推測的な貢献の一つは、機械学習に3つの時代があると論じた点である。これは、深層学習革命の開始を境に2つの傾向を特定した先行研究（Amodei and Hernandez, 2018）とは対照的である。私たちは、MLの計算資源の歴史を次の3つの時代に分ける。

1. 深層学習以前の時代：深層学習以前、学習計算量はほぼムーアの法則に従い、倍増期間は約20か月である。
2. 深層学習の時代：2010年から2012年の間のどこかで始まり⁵、倍増期間は約6か月である。
3. 大規模の時代：2015年から2016年にかけて、主要な傾向から別のモデルの傾向が枝分かれしたと言えるだろう。これらのシステムの特徴は、大企業が運用し、同じ年に深層学習の時代の傾向に沿うシステムより2〜3桁大きい学習計算量を使っていることである。興味深いことに、これらの大規模なモデルの計算資源の伸びはより緩やかなようで、倍増期間は約10か月である。

この枠組みの大きな利点は、ML研究の過去20年間の発展を理解する助けになることである。深層学習はMLの大きなパラダイムシフトとなり、より大きなモデルを、より大きなデータセットと、より多くの計算資源を使って学習させることに重点が置かれるようになった。深層学習の傾向の分岐は、DeepMind や OpenAI のような大企業での大型プロジェクトへと重点が移ったのと時期が重なる。

しかし、この枠組みにはかなりの曖昧さがある。たとえば、どのモデルを大規模とみなせるのかを、正確にどう判断すればよいのか。この「大規模」の傾向が単なるノイズによるものではないと、どうして確信できるのか。こうした疑問を検証するために、何を「大規模」とみなすかについて異なる統計的なしきい値を使ったところ、得られる傾向はあまり変わらなかった。したがって、この発見は選定基準の違いに対して少なくともある程度は頑健である。もちろん、使うべき正確なしきい値にはなお議論の余地があり、より多くのデータがなければ、観測された傾向について確信を持つのは難しい。

含意と今後の研究

今後の研究がこの研究プロジェクトを土台に発展していくことを期待している。前述の計算資源の推定手法を使えば、学習計算量のデータをさらに集めることができ、より決定的な分析ができる可能性がある。データ収集の過程を容易にすることもできる。たとえば次のような方法である。

• 学習計算量（と推論実行の計算資源）の使用量を自動的に測るツールを開発する
• 使用したGPUのモデルなど、学習過程についての重要な詳細を公表する

こうした取り組みは、主要な関係者が将来、価値ある情報を得る助けになる。

当然、私たちはデータセットのサイズの傾向も調べ、性能向上にとってのデータと計算資源の相対的な重要性を比較するつもりである。資金や人材といった要因が、データや計算資源のようなMLシステムへの主要な投入物にどう影響するかを調べることもできる。

こうした問いに答えることは、AIの将来がどのようなものになるかを理解するうえで欠かせない。Epoch AI では、安全を確保するための適切なガバナンス上の介入を伴いながら、AIが有益な形で開発されるようにすることに特に関心を持っている。計算能力の進歩をよりよく理解することは、強力なAIシステムのある未来をよりうまく乗り切る助けになる。

論文の全文は arXiv で読める。