データは尽きるのか？　人間が生成したデータに基づくLLMのスケーリングの限界

はじめに

スケーリングはAIの進歩を推し進める重要な要因であり続けてきた。モデルはパラメータ数を増やし、ますます巨大なデータセットで学習しており、その結果、学習計算量は指数関数的に増え、性能は劇的に向上している。たとえば、かろうじて筋の通った文章を書く程度だった GPT-2 と強力な GPT-4 の間には、5年の歳月と4桁の計算資源の差がある。

これまでのところ、AI開発者はAIチップを調達すること以外に、スケーリングの大きな制約に直面してこなかった。AIチップは不足しているが、供給は急速に増えている。チップが唯一のボトルネックなら、AIシステムは計算資源の面で指数関数的に成長を続け、能力の最先端を広げ続ける可能性が高い。したがって、AIの進歩を予測するうえで重要な問いは、純粋な計算資源以外の投入物が実際に制約となりうるかどうかである。

特に、スケーリングには学習データセットの拡大が必要である。これまでで最も強力なAIシステムは言語モデルであり、主にインターネット上の人間が生成した数兆語のテキストで学習している。しかし、人間が生成したデータは有限しか存在しないので、学習データがスケーリングの主なボトルネックになりうるのではないかという疑問が生じる。

新しい論文では、人間が生成した公開テキストデータのストックを推定し、この問いに答える手がかりを得ようと試みた。これはこのテーマについての2022年の分析を更新するものである。

結果

人間が生成した公開テキストデータの実効的なストックの総量は、300兆トークン程度で、90%信頼区間は100兆〜1000兆トークンであることがわかった。この推定値には、学習に使えるだけの十分な品質を持つデータだけが含まれており、モデルを複数エポックにわたって学習させる可能性も考慮している。¹

図1に、いくつかの種類のデータのストックの推定値を示す。

このデータストックの推定値をもとに、次にこのデータがいつ使い切られるかを予測した。データセットの成長について2つのモデルを作った。1つはデータセットのサイズの過去の伸び率を単純に外挿するもので、もう1つは学習計算量の伸びについての私たちの予測を考慮し、それに対応するデータセットのサイズを導くものである（詳しくは後述）。図2に示す全体の予測は、この2つのモデルを組み合わせたものである。80%信頼区間で見ると、データストックは2026年から2032年の間のどこかで使い切られる。

ただし、このデータが使い切られる正確な時点は、モデルをどのようにスケーリングするかによって変わる。モデルを計算最適に学習させる場合³、5e28回の浮動小数点演算（FLOP）でモデルを学習させるのに十分なデータがある。この水準には2028年に達すると予想される（図2を参照）。しかし、Llama 3 のような最近のモデルは、推論実行時の計算効率を高めるために、パラメータを少なくしてデータを多くする「過剰学習（overtrain）」が行われることが多い。⁴

私たちは収益とコストの単純化したモデルを作り、それを解いて、AI開発者の利益を最大化するスケーリング方針を求めた。AIの推論実行の需要がモデルの性能に応じてどう変わるかによっては、モデルを最大100倍まで過剰学習させるのが理にかなう場合もあることがわかった。

次に、図3に示すように、こうした利益最大化の方針を使って将来のデータセットのサイズを予測した。モデルを5倍という控えめな程度に過剰学習させる場合、データのストックは2027年までに使い切られるが、100倍に過剰学習させる場合は2025年までに使い切られる。参考までに、Llama 3-70B は10倍に過剰学習させていた。

以前の推定との比較

2022年の論文では、高品質のテキストデータは2024年までに使い切られると予測していたが、新しい結果では、それが2028年まで起きない可能性が示されている。この食い違いは、方法論の違いと、データの品質とモデルの学習についての理解を変えた最近の知見を取り入れたことによる。

以前の研究では、高品質のデータを、ウェブから収集したデータと、出版された科学論文や書籍のような人間が選別したコーパスとがほぼ半々に混ざったものとしてモデル化した。これにより、高品質のデータは約10兆トークンと推定された。しかし、その後の研究結果は、ウェブデータを慎重にフィルタリングすれば、選別されたコーパスを上回る性能が得られることを示した（Penedo et al., 2023）。ウェブデータは人手で選別されたデータよりはるかに豊富なので、これによって高品質のデータのストックの推定値は5倍に増えた。

以前の仮定を覆したもう一つの最近の知見は、モデルを数エポックにわたって学習させても大きな性能低下が起きないということである（Muennighoff et al., 2023）。この発見から、学習中に同じデータセットを複数回使えると考えられ、そうすればモデルが利用できるデータの量は実質的に増える。その結果、実効的なストックの推定値はさらに2〜5倍に広がり、データストックがいつ使い切られるかの予測も修正された。

これらの知見、つまり慎重にフィルタリングしたウェブデータの有効性と、モデルを複数エポックにわたって学習させられることが組み合わさって、利用可能な高品質のデータのストックの推定値は大幅に増えた。そのため、言語モデルがこのデータを使い切る時期の予測は後ろにずれた。

考察

人間が生成した公開テキストデータ以外にも、画像や動画、インスタントメッセージの会話のような非公開データ、AIが生成した合成データなど、多くの種類のデータがある。私たちが人間による公開テキストデータを対象にしたのには、3つの理由がある。

• テキストはフロンティアモデルの学習に使われる主なモダリティであり、主要なボトルネックになる可能性が高い。他のモダリティは、生成するのが比較的容易か（画像や動画の場合）、LLMの学習に役立つことが実証されていない（たとえば天文学やその他の科学データの場合）からである。
• AIが生成した合成データはまだよく理解されておらず、能力を確実に向上させることが示されているのは、数学やコーディングのような比較的狭い分野にとどまる。
• インスタントメッセージのような非公開データは、法的な問題があり、また利害の対立する主体が管理する複数のプラットフォームに分散しているため、大規模に使われる可能性は低いと思われる。

モデルが利用可能な人間による公開テキストデータをすべて使って学習するようになったとしても、モデルの能力の進歩が完全に止まるとは限らない。進歩が続く道の一つは、データセットのサイズを一定に保ったままパラメータ数を増やすことで、これは「学習不足（undertraining）」と呼ばれる戦略である。⁵ 学習不足で得られる向上は、計算最適なスケーリングをさらに最大2桁進めたのに相当するが（図4を参照）、いずれは頭打ちになると予想される。

しかし結局のところ、2030年以降も進歩を維持するには新たなイノベーションが必要になる。どのイノベーションが成功するかは予測できないが、特に重要と思われる3つの区分を挙げる。合成データ、他のモダリティのデータからの学習、データ効率の改善である。計算資源に比べてデータが不足するにつれ、これらをはじめとする手法の開発に投じられる資源は大幅に増えるだろう。⁶ こうした投資水準の高まりを考えると、そうした取り組みは成功すると予想される。

詳しくは、ArXiv の論文全文 https://arxiv.org/abs/2211.04325 を参照してほしい。