機械学習のデータは尽きるのか？　データセットのサイズの傾向の予測から得られる証拠

私たちの予測では、低品質の言語データのストックは2030〜2050年までに、高品質の言語データは2026年より前に、視覚データは2030〜2060年までに使い尽くされる。これは機械学習の進歩を鈍らせるかもしれない。

私たちの結論はすべて、機械学習でのデータの使用と生産の現在の傾向が続き、データ効率に大きな革新が起きないという、非現実的な仮定に依拠している。これらの仮定やほかの仮定を緩めることは、今後の研究として有望だろう。

	過去の傾向にもとづく予測	計算資源にもとづく予測
低品質の言語データのストック	2032.4 [2028.4 ; 2039.2]	2040.5 [2034.6 ; 2048.9]
高品質の言語データのストック	2024.5 [2023.5 ; 2025.7]	2024.1 [2023.2 ; 2025.3]
画像データのストック	2046 [2037 ; 2062.8]	2038.8 [2032 ; 2049.8]

表1：予測の組ごとの、データが尽きる時期の中央値と90%信頼区間。

背景

「Chinchilla’s wild implications」は、学習データがまもなく大規模言語モデルのスケーリングのボトルネックになると論じた。Epoch AI では、学習データを含め、機械学習への投入要素の傾向についてデータを集めてきた。このデータセットを使い、言語モデルと画像モデルの学習データセットのサイズの過去の伸び率を推定した。

過去の傾向を将来に延長すると、誤った結論を導く可能性が高い。この傾向は、過去10年間の異常なほど大きな計算資源の増加に支えられているからだ。これを考慮するため、私たちの計算資源の入手可能性の予測も用い、Chinchilla のスケーリング則を使って、将来の各年に計算最適となるデータセットのサイズを推定した。

将来の各年の英語の言語データと画像データの総ストックは、一連の確率モデルを使って推定した。言語については、データの総ストックに加えて、高品質の言語データのストックも推定した。これは大規模言語モデルの学習に一般に使われる種類のデータである。

視覚データのストックのモデルについては、かけた時間が少なかったので、確信の度合いが低い。正確な推定値というより、下限と考えるのが最善だと思う。

結果

最後に、学習データセットのサイズの予測とデータの総ストックの予測を比べる。結果は上の図のとおりである。データセットはデータのストックよりはるかに速く大きくなっているので、現在の傾向が続けば、データのストックを使い尽くすことは避けられない。上の表は、予測同士が交わる組ごとに、データが尽きる年の中央値を示している。

理論上、これらの時期は、計算資源が機械学習モデルの成長の主なボトルネックである状況から、データが厳しい制約となる状況への移行を意味するのかもしれない。

実際には、この分析には深刻な限界があるので、モデルの不確かさは非常に大きい。より現実的なモデルなら、データ効率の向上、合成データの利用、そのほかのアルゴリズム的・経済的な要因を考慮に入れるべきだろう。

特に、データ効率については有望な初期の進展がいくつか見られるので、¹将来データ不足がより大きな問題になれば、より大きな進展が続くと予想できるかもしれない。ラベルなしデータはこれまで一度も制約になったことがないので、なおさらそう言える。ラベルなしデータの効率には、おそらく容易に手の届く改善の余地がたくさんある。高品質のデータの場合には、量と質のトレードオフや、低品質の情報源から高品質のデータを抽出する学習済みの指標など、さらに多くの可能性がある。

全体として、学習データの不足のために、（学習計算量で測った）機械学習モデルのスケーリングが2040年までに大きく鈍る確率は約20%²だと私たちは考えている。