機械学習ハードウェアの計算性能は2.3年ごとに倍増している

16ビット浮動小数点演算で測ると、機械学習（ML）ハードウェアの性能は年36%のペースで向上しており、2.3年ごとに倍増している。32ビットの性能にも同様の傾向が見られる。機械学習向けに最適化された数値形式とテンソルコアによって、性能はさらに向上した。

この向上を後押ししたのは、トランジスタ数の増加をはじめとする半導体製造の改良と、AIのワークロードに特化した設計である。この向上によってFLOPあたりのコストが下がり、エネルギー効率が高まり、大規模なAIの学習が可能になった。