言語モデルにおけるアルゴリズムの進歩

概要

2012年、最良の言語モデルは、意味の通る文を作ることにも苦労するリカレントネットワークだった。それが今日では、GPT-4のような言語モデルが数億人のアクティブユーザーを支援し、幅広い分野のタスクをこなせるようになっている。

進歩が急速だったのは明らかである。では、何がそれを可能にしたのか。理由の一つは、言語モデルの学習に使われる計算量が劇的に増え、その結果性能が向上したことである。しかし、それはパズルの一部にすぎない。AIの実務家たちは、より優れたモデルのアーキテクチャやオプティマイザなど、一定の性能に達するのに必要な計算量を減らすアルゴリズム上の工夫を生み出してきた。私たちはこれをアルゴリズムの進歩と呼んでいる。

新しい論文では、言語モデルのアルゴリズムの進歩について、これまでで最も包括的な分析を行った。対象は事前学習でのアルゴリズムの改善である。その結果、一定の性能に達するのに必要な計算量は、およそ8か月ごとに半減してきたことがわかった（95%信頼区間は5〜14か月）。これは極めて速い進歩であり、計算機科学のほかの多くの分野でのアルゴリズムの進歩や、計算機ハードウェアの改善を特徴づけるムーアの法則の倍増期間（2年）を上回っている（図2を参照）。

アルゴリズムの改善が性能の向上にどう効いているかをよりよく理解するため、その寄与を計算量の拡大による寄与と比べた。シャープレイ値による分析からは、向上の60〜95%は計算量と学習データの増加によるもので、新しいアルゴリズムが担ったのは進歩の5〜40%にすぎないことが示唆される。さらにこの分析からは、2018年ごろに計算量の拡大が加速したことで、アルゴリズムの改善の相対的な重要性が時とともに低下してきたことも示唆される。全体として、近年の性能向上の大部分は、根本的なアルゴリズムの進歩よりも、計算量の大規模な拡大から生じていることがわかった（図3を参照）。

また、特に注目すべき二つのアルゴリズム上の工夫も分析した。一つ目はTransformerアーキテクチャで、GPT-4など今日の最良の言語モデルの土台となっている工夫である。その導入は、この分野のアルゴリズムの進歩のほぼ2年分に相当することがわかり、その重要性が裏づけられた。もう一つは、Chinchillaのスケーリング則（Hoffmann et al., 2022）の導入で、アルゴリズムの進歩の8〜16か月分に相当することがわかった。

この分析で、言語モデルのアルゴリズムの進歩についての理解は大きく前進したが、分析にはいくつかの点で限界がある。第一に、このモデルでは個々の工夫の影響を確実には推定できない。第二に、歴史的にアルゴリズムの改善と計算量の拡大は同時に起きてきたため、それぞれの相対的な寄与を切り分けるのが難しい。第三に、さまざまな工夫が性能をどの程度改善するかは、モデルの規模によって変わる。そのため、たとえば少ない計算予算で学習したモデルの性能を予測するのに、私たちのモデルを素朴に当てはめることはできない。最後に、アルゴリズムの進歩をどうモデル化するのが最も適切かについては大きな不確実性がある。予測の異なる多くのアプローチがありうるからである（図4を参照）。この点を前進させるには、データを大幅に増やし、質も高める必要があるだろう。

では、今後も同じような速さでアルゴリズムが進歩すると考えるべきだろうか。この問いの答えはまだはっきりしない。計算量とアルゴリズムの両面での今後の進歩は、投資の増加の速さ¹と、AIがどこまで人間の労働者の代わりになれるかにかかっている。さらに本研究が扱うのは事前学習中のアルゴリズムの進歩であり、性能向上のもう一つの主要な原動力である事後学習での改良によるアルゴリズム上の向上は考慮していない。

それでも本研究は、過去10年間の言語モデルの能力の驚くべき進歩の速さについて、厳密な定量分析を示している。言語モデルの性能に規模が与える影響の大きさを裏づけるとともに、この急速に進む分野で効率向上の源泉を定量化するさらなる研究の土台を築くものである。

まとめると、本研究は言語モデルの効率の改善がどれほど重要かを定量化する助けとなる。その改善の速さはソフトウェアのほかの分野でのアルゴリズムの改善を上回るものの、過去10年間では計算量の拡大ほど重要ではなかったことを示した。これは、より汎用的で高性能な言語モデルへと向かう進歩が二つの道筋で進んでいることを示している。

論文の全文はarXivで読める。