データインサイト
フロンティアモデルの学習期間の長期化は、2027年ごろに止まる可能性が高い
著者：Luke Emberson、Yafah Edelman（Epoch AI）
「最長の学習期間（The Longest Training Run）」では、長すぎる学習は、後から開始して追加のハードウェアとアルゴリズムの改良の恩恵を受ける学習に劣ることになると論じた。最新の数値に当てはめると、9か月を超える学習は非効率になりうると考えられる。現在のペースでは、学習期間は2027年ごろ（90%信頼区間：2025年8月〜2029年9月）にこの長さに達する。
学習期間の長期化は、学習計算量の急速な増大の大きな要因である。学習期間が伸びなくなれば、開発者がハードウェアの規模拡大をさらに加速させない限り、学習計算量の伸びは鈍化する。規模拡大の加速は、より大規模なクラスターの構築を早めるか、複数のクラスターに学習を分散させることで実現できる。
このグラフについて詳しく
2020年以降、フロンティアLLMシステムの学習にかかる期間は年約1.4倍（90%信頼区間：1.3〜1.5倍）のペースで伸びてきたことを示した。これとは別に、約9か月を超える学習は最適でないと考えられる経済的な理由がある。現在のトレンドでは、フロンティアAIシステムは2027年ごろ（90%信頼区間：2025〜2029年）にこの9か月の上限に達する。
2018年以降、学習期間は規模拡大の進展全体の約3分の1に寄与してきたため、このトレンドが終われば、2027年以降は計算量全体の伸びが鈍化する可能性がある。逆に、モデル開発者は学習に使うチップの数を増やして対応するかもしれない。そのためには、学習クラスターの構築を早めるか、より多くのクラスターに学習を分散させればよい。
← データインサイト一覧へ
