言語モデルの学習に使われるデータセットのサイズは、約6か月ごとに倍増している

機械学習のあらゆる領域で、モデルが使う学習データは増え続けている。言語モデルでは、データセットは年3.7倍のペースで拡大している。現在の最大級のモデルは、数十兆語規模のデータセットを使っている。公開されている最大級のデータセットはこの約10倍の規模であり、たとえばCommon Crawlにはフィルタリング前の時点で数百兆語が含まれている。