データインサイト
現在最大のデータセンターは、GPT-4規模の学習を毎月20回以上実行できる
MicrosoftのFairwater Atlantaデータセンターは、すでにGPT-4と同規模の学習を毎月23回実行できる。初代GPT-4の学習にかかった90〜100日の間なら、約70回実行できる計算になる。データセンターが大きくなれば、AI企業は実験と最終的な学習の両方で、その規模と回数を大きく増やせる。
2026年末までに、Colossus 2がこれらの数字を2倍以上に引き上げている可能性が高い。2027年末までには、MicrosoftのFairwater Wisconsinが、GPT-4規模の学習を毎月225回以上実行できるようになるとEpoch AIは予想している。
このグラフについて詳しく
Epoch AIのAIモデル（AI Models）データベースにあるGPT-4の学習計算量と学習期間の推定値を、フロンティアAIデータセンター（Frontier AI Data Centers）データベースにある計算能力の推定値と組み合わせた。そのうえで、各時点で最大のデータセンターを使った場合に、GPT-4規模の学習を1か月に並行して何回完了できるかを算出した。GPT-4の学習条件と直接比較するため、数値は16ビット精度での性能を用いて計算した。
現在および将来のデータセンターの仕様をどのように推定しているかは、フロンティアAIデータセンターの解説ページで詳しく説明している。
データ（原文・英語）
- クラスターごとの学習可能なGPT-4規模モデルの数 CSV・Epoch AI