基盤モデルのリサイクルがもたらす利益は限られている

はじめに

事前学習済みモデルを再利用すると、学習コストを節約できることが多い。現在の大規模化のパラダイムでは、汎用の基盤モデルを特定のタスクでファインチューニングするという形で、基盤モデルが日常的に再利用されている（Bommasani et al. 2022）。しかし、古い基盤モデルを再利用して新しい基盤モデルを学習させることでコストを節約することもできる。この手法を「基盤モデルのリサイクル」と呼ぶことにしよう。これは、より一般的なモデルの再利用という現象（Jiang et al. 2023）とは区別できる。この短い報告書では、基盤モデルのリサイクルの利益と、それが意味することを調べる。

基盤モデルをリサイクルする方法は、大きく分けて2つあるようである。1つ目は、生徒・教師の構成を使い、学習中の少なくとも一定期間、古いモデルを教師とする方法である。深層強化学習では、この方法は一般にキックスタート（kickstarting）として知られており、学習の初期段階で密な報酬信号を与えることで学習コストの削減に役立つ（Schmitt et al. 2018）。2つ目は、古いモデルを、変更したアーキテクチャや学習アルゴリズムで拡張する方法である。場合によってはモデルを大きくし、より長く、あるいは別のデータで学習させる。たとえば、古いモデルを枝刈りし、枝刈りしたモデルを新しいモデルの一部として使うことが考えられる（例：Qi et al. 2023）。

モデルのリサイクルが一般に有用で、その結果広く採用されるようになれば、いくつかの大きな影響が予想される。

SOTA（最高水準）モデルの性能が全般的に高まる。以前のモデルに費やした学習計算量が、その後の学習実行に必要な計算量を部分的に代替できる。
繰り返しリサイクルされる初期のモデルが、後のSOTAモデルの性質に影響を与えるかもしれない。そうなれば、現在の開発が将来のモデルの性質に及ぼす影響力は、そうでない場合に考えられるより大きくなるかもしれない。これはAIの安全性にとって重要な考慮事項になりうる。
以前のSOTAモデルを利用できなければ、SOTAモデルを学習させるのが難しくなるかもしれない。

この報告書では、モデルのリサイクルの利益を調べる。主な結果は、モデルのリサイクルの利益は小さいということである。モデルのリサイクルの利益は時間とともに積み重なるが、その効果は線形なので、これまでに観察されてきた計算予算とアルゴリズムの進歩の指数関数的な成長に比べれば、わずかな利益しかもたらさない。

より具体的には、計算予算（FLOP）が毎年 $r$ 倍に増えるなら、全年度の計算量の合計に対する $T$ 年目に使える物理的な計算量の比は $\frac{C _{0} r ^{T}}{\sum _{t = 0}^{T} C _{0} r ^{t}} = \frac{r - 1}{r ^{T + 1} - 1} \cdot r^{T}$ で与えられる。 $T$ が大きいとき、この比は $(r - 1) / r$ に近づき、現実的な $r$ の値では $1$ に近い。表1を参照。

想定する成長率	成長率	リサイクルの利点
現在の計算量の増加	年4.2倍	1.3倍
ハードウェアの効率	年1.3倍	4.1倍
現在の計算量の増加 + ソフトウェアの効率	年10.5倍	1.1倍
ハードウェアの効率 + ソフトウェアの効率	年3.3倍	1.4倍

表1：基盤モデルの学習に使われる実効計算予算のさまざまな成長率に対する、計算量の倍率の最大値。現在の物理的な計算量の成長率と、投資水準を一定とした場合の成長率、そしてその両方の状況におけるアルゴリズムの進歩の効果を考える。成長率はEpoch AI 2022から取った。計算量の倍率とは、モデルのリサイクルによって学習実行の計算量が実質的に何倍になるか、言い換えれば、リサイクルなしで同じ性能を得るのに必要な計算量の倍率である。

実際、古いモデルの非効率さが将来の性能を損なうなら、古いモデルを新しいアルゴリズムで拡張しても、まったく利益がない可能性もある。これはありうる結果である。モデルの拡張では暗に古いアーキテクチャをリサイクルすることになるからだ。古いアーキテクチャは新しいアーキテクチャより学習が遅いかもしれず、アルゴリズムの進歩を活かす能力を下げてしまう。この報告書の以下の部分では、両方の方法をより詳しく検討する。

モデルのリサイクルのモデル化

前に説明したように、モデルのリサイクルは2つの形に区別できる。

キックスタート。生徒モデルが古い教師モデルの出力から学習する。この手法は、学習の初期段階で質の高い密な報酬信号を与えるので、一般に有益である（Schmitt et al. 2018）。
モデルの拡張。古いモデルを、新しいオプティマイザや追加の再帰層などの新しいアルゴリズムで拡張し、より長く、あるいは別のデータで学習させる（例：Qi et al. 2023）。

この2つの方法は、何をリサイクルするかが異なる。1つ目の方法では知識がリサイクルされ、新しいモデルへと蒸留される。2つ目の方法では、モデルの重みそのものがリサイクルされる。

どちらの方法も、少ない反復回数で行う場合にはある程度の効率上の利益が期待できる。しかし、モデルの拡張ではモデルの重みをリサイクルするので、性能を損なうリスクも伴う。その理由は、モデルの重みをリサイクルすると暗に古いアーキテクチャもリサイクルすることになり、それは新しいアーキテクチャより学習が遅いかもしれないからである。そのため、とくにモデルが繰り返しリサイクルされる長い系列では、モデルの拡張よりもキックスタートのほうが有益であるように思われる。同時に、キックスタートにも欠点がある。キックスタートではすでに分かっていたことを学び直す必要があるので、モデルの拡張より無駄が多い。こうしたコストと利益を詳しく検討する価値がある。

どちらの場合も、モデルのリサイクルの目的は調整済み計算量を増やすことだと仮定する。調整済み計算量とは、モデルのリサイクルを使った実際のモデルが学習中に到達したのと同じ性能水準に、ゼロからモデルを学習させて到達するのに必要となる仮想的な計算量と定義する。モデルのリサイクルの価値は、実際の計算量に対する調整済み計算量の比 $A / C$ で測り、 $A / C > 1$ のとき有益である。

キックスタート

キックスタートの核にあるのは、前のモデルの出力を使って新しいモデルを学習させ、ゼロから学習する場合よりも速く基準となる性能水準に到達させるという考え方である。この基準となる性能水準に到達する速さが利益を決める。キックスタートに関する最初の論文では、キックスタートによって、新しいモデルはゼロから学習する場合と比べて総学習ステップ数のわずか10パーセントで基準水準まで学習できると主張された（Schmitt et al. 2018）。

キックスタートを使ったモデルのリサイクルのモデルを大まかに描いてみよう。最初の学習の反復では、モデルはゼロから学習し、調整済み計算量は実際の計算量に等しい（ $C_{1} = A_{1}$ ）。その後の各反復（年に1回行うものとする）では、実際の計算予算は一定の率 $r$ で増える。その後の各反復での調整済み計算量は、その学習実行に割り当てられた実際の計算量と、前の学習実行での調整済み計算量に再利用効率パラメータ $0 \leq α \leq 1$ を掛けたものとの和に等しい。まとめると、 $C_{n} = r C_{n - 1}, n > 1$ $A_{1} = C_{1}$ $A_{n} = C_{n} + α A_{n - 1}$ となる。このモデルでは、最初の計算量 $C_{1}$ はモデルのリサイクルの利益に影響しない。利益は $r$ と $α$ だけで決まる。 $A / C$ で測った利益を、実質的に無限回の反復（年）の後について、以下の図1に示す。

図1：キックスタートの利益。計算予算の成長率 $r$ と再利用効率 $\alpha$ のさまざまな設定について、実質的に無限回の反復の後の、実際の計算量に対する調整済み計算量の比で測ったもの。

利益は反復のたびに増える。しかし、図2に示すように、 $r$ と $α$ のほとんどの選び方で、この数列はすぐに収束する。

図2：計算予算の成長率 $r$ と再利用効率 $\alpha$ のさまざまな設定について、繰り返し変化させた後のキックスタートの利益。

ここまでのモデルはアルゴリズムの進歩を考慮していないが、アルゴリズムの進歩を考慮すれば結果はさらに控えめになるしかない。アルゴリズムの進歩とは、以前のアルゴリズムと同じ性能水準に達するのに必要な計算量やデータが、アルゴリズムの改良によって少なくなる傾向を指す。このモデルにアルゴリズムの進歩を組み込む方法は2つありそうである。(1) より良いアルゴリズムは古いアルゴリズムより短い時間で同じ基準の性能水準に達するので、それに応じて再利用効率 $α$ の推定値を下げる。あるいは (2) 実際の計算量を、アルゴリズムの進歩で調整した、その結果より速く成長する実効計算量に置き換える。どちらの場合も、アルゴリズムの効率による調整を念頭に置きつつ、図1と図2で得た結果を再利用できる。

たとえば、Erdil and Besiroglu 2023は、コンピュータビジョンではアルゴリズムの進歩が実効計算量を年約150%の率で増やしていると推定した。Sevilla et al. 2022は、最大規模の学習実行の計算量が現在、年130%の率で増える傾向にあると推定した。これらを組み合わせると、実効計算量の成長率は年475%になる。このような極端な成長率のもとでは、利益の比が1.5すら超えられないことは容易に分かる。学習実行の規模がこれまでわずか数年で何桁も拡大してきたことを考えれば、これは控えめな利益である。この悲観的な結論は、モデルの拡張の場合にはさらに強く当てはまる。

図3：$\alpha=0.9$、実効計算量の増加率 $380\%$ の場合の、キックスタートによる調整済み計算量への寄与。1年を1回の反復とする。

モデルの拡張

モデルの拡張の中心的な考え方は、前のモデルから知識を引き出すだけでなく、モデルの重みを再利用して新しいモデルを学習させることである。しかし、モデルの重みは本質的にモデルのアーキテクチャの細部に依存するので（たとえば畳み込み層の重みを再利用する場合）、モデルの拡張では暗に古いアルゴリズムをリサイクルすることになる。

アーキテクチャ上のアルゴリズムのなかには、特定のタスクの学習に優れたものがあることが分かっている。たとえば、少なくとも一定の規模以上では、言語予測タスクには畳み込みネットワークより自己注意機構のほうが適していることが分かっている（Tay et al. 2022）。したがって、古くて効率の悪いアルゴリズムを再利用すると性能が損なわれ、アルゴリズムの進歩が続くにつれてその影響は時間とともに積み重なっていく。

モデルの拡張の過程をモデル化するため、モデルの重みを再利用するとアルゴリズムの進歩 $P$ を部分的にしか活かせないと仮定しよう。この進歩は実際の計算量に掛かる倍率として働き、機械学習の研究の結果として率 $g$ で外生的に成長する。パラメータ $β$ は、各反復 $i$ で新しいアルゴリズムの進歩のうちどれだけの割合を活かせるかを決める。モデルを次の式のように設定する。

前と同様に、計算量はある率 $r$ で外生的に増えると仮定する。 $C_{n} = r C_{n - 1}, n > 1$ また、調整済み計算量は、最初の反復では学習計算量の水準から始まると仮定する。 $A_{1} = C_{1}$ ただし今回は、率 $g$ で成長するアルゴリズムの効率を表すパラメータを含める。 $P_{1} = 1$ $P_{n} = g P_{n - 1}$ 各反復での調整済み計算量は、その反復の実際の計算量にアルゴリズムの効率と $β$ を掛けたものと、前の反復の調整済み計算量との和に等しい。 $A_{n} = β P_{n} C_{n} + A_{n - 1}$ この最後の式は、調整済み計算量が実効計算量、つまり $P_{n} C_{n}$ より遅く成長しうることを意味する。その場合、ゼロから学習するほうが望ましいことが多い。 $β < 1$ の値による性能の低下が、比較的小さな $n$ の値でさえ、結局は性能を損なうからである。さまざまなパラメータ設定でモデルの拡張をシミュレーションした結果のいくつかを図4に示す。実際、再利用効率 $β$ が $1$ に非常に近いか、反復回数が非常に少ない場合を除けば、モデルの拡張の利益は、ほぼすべての場合に控えめか、逆効果であるように見える。このため、人々がモデルの拡張を使うとしても、数回の反復を超えて使うことはないと予想するのが妥当だと思われる。

考察

キックスタートとモデルの拡張の利益がどちらも控えめであることを考えると、どちらの方法も、将来の大規模な基盤モデルの大規模な学習実行の効率を、わずかな程度以上に高めることはないと思われる。その結果、モデルのリサイクルに予想される影響も、どれも大きくはならないはずである。それでもモデルのリサイクルが使われる限りでは、モデルの拡張よりキックスタートのほうが採用される可能性が高いように思われる。キックスタートなら、研究者はアルゴリズムを更新しつつ、以前の学習実行でモデルが得た知識を再利用できるからである。

とはいえ、これらの単純なモデルが考慮していない点の一つは、アルゴリズムの進歩がどの程度内生的か、つまりモデルの規模拡大そのものによって引き起こされているかである。機械学習モデル自体がAI研究で役割を果たすなら、アルゴリズムの進歩は内生的になりうる。GitHub Copilotのような限定的なAIツールによって、限られた程度ではすでにそれが起きているのかもしれない（Morris 2023）。モデルのリサイクルによる性能がアルゴリズムの進歩を加速させるなら、モデルのリサイクルによる性能向上の効果は、この単純な分析が示すより強くなる可能性がある。これらのモデルでアルゴリズムの進歩を内生化すると、モデルのリサイクルの効果は控えめだという全体の結論が大きく変わるのか、それとも悲観的な結論が残るのかは、未解決の問題である。

今後の研究では、再利用効率のパラメータをより正確に推定し、アルゴリズムの進歩の速度についてより良い推定値を示すことで、より現実的なモデルを作ることにも取り組めるだろう。再利用効率はモデルの規模やアルゴリズムの進歩といった要因に依存し、したがってこの分析での仮定とは違って、時間がたっても一定ではないかもしれない。また、キックスタートとモデルの拡張という2つの区分にきれいに収まらない、基盤モデルをリサイクルする別の方法が見つかるかもしれない。最後に、この報告書はほぼもっぱら理論的な観点からモデルのリサイクルを扱っている。基盤モデルをどうリサイクルするのが最善かという詳細は、今後の研究課題である。

謝辞

この報告書に有益なコメントをくださったJaime Sevilla、Tamay Besiroglu、Pablo Villalobos、Tom Davidson、Ben Cottierに感謝する。

参考文献

Bommasani, Rishi et al. (2022). On the Opportunities and Risks of Foundation Models. arXiv: 2108.07258 [cs.LG].

Epoch AI (2022). Parameter, Compute and Data Trends in Machine Learning. Accessed: 2023-6-5. url: https://epoch.ai/data/ai-models#explore-the-data.

Erdil, Ege and Tamay Besiroglu (2023). Algorithmic progress in computer vision. arXiv: 2212.05153 [cs.CV].

Jiang, Wenxin et al. (2023). An Empirical Study of Pre-Trained Model Reuse in the Hugging Face Deep Learning Model Registry. arXiv: 2303.02552 [cs.SE].

Morris, Meredith Ringel (2023). Scientists’ Perspectives on the Potential for Generative AI in their Fields. arXiv: 2304.01420 [cs.CY].

Qi, Binhang et al. (2023). Reusing Deep Neural Network Models through Model Re-engineering. arXiv: 2304.00245 [cs.SE].

Schmitt, Simon et al. (2018). Kickstarting Deep Reinforcement Learning. arXiv: 1803.03835 [cs.LG].

Sevilla, Jaime et al. (2022). Compute Trends Across Three Eras of Machine Learning. arXiv: 2202.05924 [cs.LG].

Tay, Yi et al. (2022). Scaling Laws vs Model Architectures: How does Inductive Bias Influence Scaling? arXiv: 2207.10551 [cs.LG].