注目すべきモデルの学習にかかる期間は長くなっている

2010年以降、注目すべきモデル（ベースモデルからファインチューニングしたものを除く）の学習期間は年1.2倍のペースで長くなっている。

このトレンドが続けば、チップや電力を増やさずに学習計算量を増やせるため、ハードウェアの制約が緩和されるだろう。

ただし、学習期間の長期化にはトレードオフがある。非常に長い学習では、学習を長く続ける利点よりも、将来のアルゴリズムやハードウェアの改善を待つ利点のほうが上回るかもしれない。