これまでのサイクルでは、新しい数値フォーマットが広く普及するまでに3〜4年かかっている

これまで、新しい数値フォーマットがモデルの学習で広く普及するまでには最大4年かかってきた。FP16とBF16はいずれも、最初の2年で早期に浸透し、3年目ごろに採用率50%に達し¹、5年以内に標準となった。これらの新しいフォーマットに移ったことで計算性能と学習の安定性は向上したが、それにはハードウェアの対応が前提だった。

BF16は4年のサイクルの後半にあり、FP8による学習が現れつつある。採用のパターンが続くなら、FP8は2028年ごろに標準になる可能性がある。さらにその先を見ると、4ビットでの学習がそれに続き、やがて主要な数値フォーマットになるかもしれない。ただし、これほど低い精度で学習を安定させることは依然として課題である。