CMOSマイクロプロセッサのエネルギー効率の限界

要約

1946年のENIACと比べると、現代のマイクロプロセッサは、散逸するエネルギーの単位あたりでおよそ1000兆倍の計算を行える。これは、計算機の歴史で最も重要な傾向の一つであるクーミーの法則をよく示している。この法則のもとで、計算機のエネルギー効率は過去80年で劇的に向上してきた。

では、この進歩は物理的な限界に突き当たるまで、あとどれだけ続くのだろうか。この問いへの答えは、ハードウェアの今後の進歩を予測するうえで重要な意味をもつ。根本的な限界が近いのであれば、相補型金属酸化膜半導体（CMOS）プロセッサという既存のパラダイムの中でのハードウェア研究開発の見返りは、近い将来に急速に小さくなるかもしれない。

IEEE International Conference on Rebooting Computing で発表した新しい論文では、この問いを明らかにするために、エネルギー効率の簡単なモデルを提案する。これにより、CMOSマイクロプロセッサのエネルギー効率の上限を、散逸エネルギー1ジュールあたりの浮動小数点演算回数（FLOP/J）で推定できる。本研究は、配線インターコネクトでの散逸の限界を分析することで従来の分析を発展させ、エネルギー効率の限界を予測するためのより厳密な枠組みを示す。この枠組みは不確実性を考慮しており、今後の研究で改良を重ねていくことができる。

中心となるモデルでは、エネルギー散逸の主な発生源を二つ考える。一つは論理演算でのトランジスタのスイッチング、もう一つは配線インターコネクトでのデータ通信である。

E = E_{transistor} + E_{interconnect},

ここで、各項は1 FLOPあたりに散逸するエネルギーを表す。トランジスタのスイッチングによる寄与は、スイッチング1回あたりのエネルギー $Q_{S}$ と、1 FLOPあたりのスイッチング回数 $N_{T}$ の積として簡単に分解できる。

E_{transistor} = Q_{S} \times N_{T}

$E_{interconnect}$ の寄与は、CMOSマイクロプロセッサの幾何的な構造で決まる。具体的には、配線インターコネクトは通常、ほかの配線や金属基板に囲まれている。そのため測定可能な静電容量 $C$ が生じ、情報を伝えるたびに充電と放電が起こる。外から与えられる電源電圧を $V$ とすると、エネルギーコストは $C V^{2}$ となる。ここでは充電と放電の両方を考慮するため、係数1/2を省いている。 $C$ は、単位長さあたりの静電容量 $C_{L}$ 、充電される配線の平均長 $L$ 、1 FLOPあたりに充電される配線の本数 $N$ の積に分けて推定する。すると次の式が得られる。

E_{interconnect} = C_{L} \times L \times N \times V^{2} .

主なパラメータの推定値を下の表にまとめる。各パラメータの推定方法は論文本体で詳しく説明している。

変数	範囲
スイッチング1回あたりのエネルギー $Q_{S}$	$[3 \times 1 0^{- 20}, 1 0^{- 18}]$ J/回
スイッチング回数 $N_{T}$	$[30, 3000]$ 回
$1/ E_{transistor}$	$[3.3 \times 1 0^{14}, 1.1 \times 1 0^{18}]$ FLOP/J
単位長さあたりの静電容量 $C_{L}$	$[2 \times 1 0^{- 11}, 2 \times 1 0^{- 10}]$ F/m
配線の平均長 $L$	$[12.5 \times 1 0^{- 9}, 190 \times 1 0^{- 9}]$ m
配線の本数 $N$	$[30, 3000]$ 本
電源電圧 $V$	$[0.1, 0.6]$ V
$1/ E_{interconnect}$	$[1.5 \times 1 0^{13}, 1.3 \times 1 0^{18}]$ FLOP/J

モデルの主要な変数の上限と下限の一覧。

これらの範囲をもとに、モンテカルロ・シミュレーションでFLOP/Jの予測値の分布を求めた。4ビット精度での幾何平均はおよそ $5 \times 1 0^{15}$ FLOP/J で、対数空間での標準偏差は0.7桁である。エネルギーコストが数値精度の2乗に比例すると仮定すると、16ビット精度での幾何平均は $2.9 \times 1 0^{14}$ FLOP/J となる。

まとめると、ここではCMOSマイクロプロセッサのエネルギー効率の物理的な限界を推定する簡単なモデルを提案した。このモデルは、トランジスタのスイッチングとインターコネクトによるエネルギーコストを考慮している。本研究はFLOP/Jの限界を推定する最初の試みと見るべきものであり、今後の研究で改良の余地がある。たとえば、配線インターコネクト、電圧スケーリングの実現可能性、静的消費電力の重要性について、より詳しい理解をまとめていくことができる。

意味するところ

H100 GPUのエネルギー効率はおよそ $1.4 \times 1 0^{12}$ FLOP/J である。したがって、16ビット精度の演算についての結果からは、既存の技術からおよそ $200 \times$ の改善に達する前に、それ以上の改善が止まる確率が50%だと考えられる。

今日では、エネルギーコストは計算コストのごく一部にすぎない。しかし、計算コストは急速に下がっている一方で、今回求めたFLOP/Jの上限によって、計算量の多いタスクの実現可能性に上限が課される可能性がある。

たとえば、次のような問いを立てられる。年間のエネルギーコストが許容できないほど大きくなるのは、学習実行がどれほどの規模になったときだろうか。この最大のFLOP/年を二つの部分に分けることで、この問いにおおまかに答えられる。

FLOP/year = FLOP/J \times J/year .

1年間の学習実行で使えるエネルギーの最大量が2021年の世界の一次エネルギー消費量に等しいと仮定すると、許容できるエネルギーコストの最大値は5e20 J/年となる。これに私たちのFLOP/J推定値の中央値を掛け合わせると、16ビット演算での上限はおよそ1e35 FLOP/年となる。これはGPT-4の学習に使われた計算量のおよそ100億倍である。

したがって私たちの推定からは、年間のエネルギーコストだけを考えるなら、CMOSプロセッサは今日よりはるかに大規模なAIの学習を支えるのに十分な効率をもつ可能性が高いと考えられる。もちろん実際には、極めて大規模な学習の経済的な実現可能性や、計算クラスターの規模拡大の難しさなど、考慮すべきことはほかにもさまざまある。1e35物理FLOPを超える学習には、断熱計算への移行のような根本的な変化が必要になる可能性が高い。

論文の全文はこちら。