学習計算量の伸びは、クラスタの大規模化、学習期間の長期化、ハードウェアの性能向上によってもたらされている

フロンティアAIモデルの学習計算量が急速に伸びるなか、その伸びの主な要因を理解することはますます重要になっている。ここでは3つの主要な要因、すなわちハードウェアクラスタの規模、ハードウェア1台あたりの計算能力、学習期間を分析する。これらの要因に指数関数的なトレンドを当てはめ、学習計算量全体の伸びに対する各要因の相対的な（乗法的な）寄与を計算した。分析の対象は2018年以降に開発されたフロンティアモデルで、この期間について私たちは以前、学習計算量が年4〜5倍で伸びていることを確認している。ハードウェア利用率のトレンドも調べたが、正のトレンドを示す証拠は弱かった。データの質が低く影響も小さいため、主要な分析からは除外している。