大規模モデルの公開ペースは加速している

2017年には、学習計算量（training compute）が10²³ FLOPを超えるモデルは1つもなかった。2020年にはこれが3件に増え、2022年には36件、2024年にはEpoch AIのデータベースで10²³ FLOPを超えることが判明しているモデルが205件となった。さらに、学習計算量は未確認だが10²³ FLOPを超える可能性が高いモデルが126件ある。AIへの投資が増え、学習用ハードウェアの費用対効果が高まるにつれ、この規模のモデルはますます多くの開発者の手の届くものになっている。