中国の言語モデルは、世界のほかの地域のモデルより緩やかにしか規模を拡大していない

中国の上位の言語モデルの学習計算量は2019年以降に急速に伸び、2021年末までには世界のトップモデルに追いついた。しかしそれ以降、中国の規模拡大のペースは後れを取っている。学習計算量で上位10の中国の言語モデルは、2021年末以降、年約3倍のペースで規模を拡大してきた。これは、中国以外で2018年以降維持されてきた年5倍のトレンドより遅い。中国の現在のペースでは、世界のトップモデルの現在の水準に達するまでに約2年かかる。

各地域で既知の最大のモデル同士を比べると、差はそれほど劇的には見えない。米国で既知の最大のモデルであるGrok-2の学習計算量は、その3か月後にリリースされた中国で既知の最大のモデルDoubao-proの2倍だった。中国の現在の年3倍という規模拡大のペースなら、Doubao-proからGrok-2の計算量の水準に達するまでに8か月かかる。