FP32からテンソルINT8に切り替えると、性能は13倍に向上する

GPUは一般に、テンソルコアとAI計算向けに最適化された数値形式を使うと高速になる。非テンソルのFP32を使う場合と比べて、TF32、テンソルFP16、テンソルINT8は、全体の性能トレンドで見ると、平均してそれぞれ約6倍、11倍、13倍の性能が出る。さらに大きな高速化を達成するチップもある。たとえばH100は、INT8ではFP32の59倍高速である。

これらの数値形式による改善は、導入以来、性能トレンド全体の向上のおよそ半分を占めている。開発者がこの性能向上を活用するにつれ、低精度の形式、とくにテンソルFP16で学習したモデルが一般的になった。