最先端のオープンモデルは2026年より前に学習計算量10²⁶ FLOPを超える可能性がある

バイデン政権の拡散枠組み（diffusion framework）は、学習計算量が10²⁶ FLOPか最大のオープンモデルの学習計算量のどちらかを超えるクローズドウェイトモデルに制限を課す。過去のトレンドからは、最大のオープンモデルは2025年11月までに10²⁶ FLOPを超え、その後は年5倍近いペースで伸びていくと考えられる。

2026年より前に大規模なオープンモデルが登場すると予想する理由はほかにもある。マーク・ザッカーバーグは2024年10月に、Llama 4モデルがすでに「H100を10万基超える」クラスターで学習されていることを示した。同じ発言では、これらのモデルが引き続きオープンウェイトで公開されることも強く示唆されている。この規模で学習されたモデルは10²⁶ FLOPを超える可能性が非常に高く、2025年に公開される予定であるとみられる。