米国の輸出規制は中国のAI能力にとって何を意味したのか？

Gradient Updates は著者個人の見解を述べるニュースレターで、Epoch AI 全体の見解とは限りません。

4日前、米国政府は、高性能チップと半導体製造装置の中国への輸出に関する新たな規則を発表した。今回の更新は、輸出規制を強める大きな流れの一部である。米国商務省産業安全保障局（BIS）が2022年に最初の輸出規制を発表し、2023年に最初の改定を行ったのに続くものだ。

これらの輸出規制を発表したBISの文書はかなり長い。最新の更新は2つの文書で計210ページにわたり、それ以前の更新も短くはなかった。今号では、こうした雑多な情報の大半を切り捨て、チップの輸出規制が、高性能なAIモデルを学習させ提供する中国の能力にどのような影響を与えてきたのか、その全体像を示したい。

大まかな結論はこうである。現在の対中輸出規制は、フロンティアモデルの学習については米国にハードウェアで約4年の先行をもたらしているが、そのモデルをユーザーに提供することについては、米国は実質的にまったく先行していない。この違いが生じるのは、米国の輸出規制がこれまでチップの演算性能を標的にしてきたからである。演算性能は学習には重要だが、推論実行にはそれほど重要ではない。メモリ帯域幅はまったく標的にされておらず、ネットワーク帯域幅は2022年にかなり効果の薄いやり方で標的にされたものの、2023年の更新で取りやめになった。

2022年10月の輸出規制

大まかな結論を述べたところで、チップの輸出規制が時とともにどう変わってきたのかを正確に理解するために、もう少し詳しく見ていこう。2022年10月7日に導入された規則のもとでは、チップの中国への輸出が禁止されるには、次の2つの基準を同時に満たす必要があった。

演算性能が十分に高いこと。BISは独自の指標でこれを測っているが、この基準は、当時のNVIDIAの最高水準の機械学習用GPUであった A100 のすぐ下に設定された。
ネットワーク帯域幅が十分に高いこと。BISが設定したしきい値は600 GB/sで、これはたまたま A100 のNVLink帯域幅とちょうど同じである。

全体として、この規則は A100 を事実上のしきい値にするように、狙いすまして設定されたようだ。A100 より弱いチップは自由に輸出でき、A100 と同等以上のチップは輸出できない。新世代の H100 が2023年に主流のGPUになろうとしており、中国はそれに相当するものを国内で生産できなかったので、この規則によって米国はハードウェア性能で大きく先行したと思うかもしれない。しかし、そうはならなかった。NVIDIAは新世代の H100 と同時に、中国市場への輸出専用に H800 を発売したからである。

H800 の演算性能は H100 とまったく同じで、A100 の約3倍である。したがって通常なら規則(1)によって中国への輸出は禁止されたはずだ。NVIDIAは、H100 が対応する900 GB/sに対して H800 のNVLink帯域幅を400 GB/sに下げることでこの制限を回避し、H800 が(2)の基準を下回るようにした。

それでも、これは大きな代償に思えるかもしれない。H800 のネットワーク帯域幅は H100 の半分にも満たないし、この帯域幅が役に立たないのなら、NVIDIAが各デバイスにこれほど多くのNVLink帯域幅を詰め込むはずがないではないか、と。しかし詳しく計算すると、400 GB/sのNVLink帯域幅でも、通信のボトルネックに陥ることなくフロンティアモデルの学習を取り仕切るには十分であることがわかる。主な理由は、ネットワーク通信をGPUが行う有用な作業の陰に隠せることである。この状況では、学習の効率は主に1ドルあたりの毎秒FLOPで決まり、この指標では H800 は H100 とほぼ同等だった。

推論実行については、状況はもっと入り組んでいる。短いコンテキストの推論実行では、バッチサイズが小さいため通信を演算の陰に隠すのが難しく、さまざまな重ね合わせの手法にとってレイテンシがより大きな問題になる。そのため、モデルとトークン生成速度を固定したときの出力トークンあたりの価格で見ると、H800 は A100 と H100 の中間あたりに位置し、米国に価格性能比で約18か月の先行をもたらした。

これに対し、長いコンテキストでは、推論実行のコストの大半は、トークンを1つ生成するたびに（投機的サンプリングを使うなら数トークンごとに）KVキャッシュをメモリから読み出さなければならないことに由来する。KVキャッシュはネットワーク通信のコストをほとんど増やさないので、長いコンテキストの推論実行の性能はほぼ完全にメモリ帯域幅で決まる。H800 と H100 のメモリ帯域幅は同じなので、ネットワーク帯域幅が違っても、長いコンテキストの推論実行性能はよく似ている。

こうして2022年の輸出規制により、米国は短いコンテキストの推論実行では中国に18か月先行する一方、フロンティアモデルの学習と長いコンテキストの推論実行では、ハードウェア能力がほぼ互角という状況が生まれた。

2023年10月の更新

2023年10月17日、BISは改定した規則を発表し、前年に発表した輸出制限を強化した。ここでの話に関係する大きな変更は2つあった。

ネットワーク帯域幅が、考慮される変数から完全に外された。チップに対する新しい輸出規制の枠組みは、演算性能だけを問題にするものになった。
演算能力について A100 の水準に置かれた従来の上限は名目上維持されたが、BISは、A100 の半分以上の性能を持つチップの輸出に許可要件を加えた。実際には、これは中国に輸出できるチップの演算性能の上限を半分にすることに等しかった。

規則の変更(1)により、H800 は中国に輸出できるGPUではなくなった。演算能力が非常に高く、輸出規制がもはやネットワーク帯域幅の低さを考慮しなくなったからである。その結果、NVIDIAは中国市場への輸出用に新しいGPUを開発しなければならなくなった。

こうして生まれたGPUが H20 である。H20 は、毎秒FLOP以外のすべての変数については H200 をわずかに縮小した版だが、規則の変更(2)で課された上限が非常に厳しかったため、NVIDIAは H200 の演算能力の約15%しか実現できなかった。H20 の平均販売価格は H200 の約半分だったので、これにより米国はただちに学習の価格性能比で約3倍の優位を得た。

中国で最良の国産AIアクセラレータである、Huawei製の Ascend 910B は、A100 と同程度の性能だと報じられている。H20 と同じく、A100 も学習の価格性能比では H100 や H200 より約3倍劣る。そこで、これを中国のハードウェア能力の下限とみなすなら、学習時のハードウェア性能だけを見る限り、チップの輸出規制はほぼ最大限の効果を上げたことになる。もちろん実際には、中国は生産を拡大する能力が限られており、海外で生産された高帯域幅メモリや製造装置に依存しているので、中国の能力をさらに損ないたいなら、米国にはほかにも引ける手段があった。

推論実行の性能については、状況は大きく異なる。H20 は演算能力の割にメモリ帯域幅とネットワーク帯域幅が非常に高い。これらの変数は輸出制限の対象ではなかったので、はるかに大型の H200 GPU からほぼそのまま引き継がれたからである。先に説明したように、これらは推論実行の性能を決める決定的な変数である。実際には、H20 のわずかに劣る仕様は H200 の高い価格で相殺され、短いコンテキストでも長いコンテキストでも、2つのGPUの推論実行の価格性能比は同程度になる。

これらをまとめると、2023年の輸出規制の更新により、米国は学習の価格性能比で中国に対して3倍のコスト優位、言い換えれば4年の先行を得るという新しい状況が生まれた。しかし、NVIDIAにはもはやチップのネットワーク帯域幅を制限する理由がなくなったため、2022年の規制後に得られた短いコンテキストの推論実行での優位は失われた。推論実行の面では、中国と米国が互角だった輸出規制以前の状態に戻った。

2024年12月の更新

BISは2024年12月2日に、輸出規制の最新の更新を発表した。この更新はチップの輸出には影響せず、標的とする中国の事業体のリストを広げることと、高帯域幅メモリ（HBM）の中国への輸出を防ぐことに重点を置いていた。新しい規則は、輸出されるメモリユニットの帯域幅密度に2 GB/s/mm^2の上限を設けている。

この規則だけなら、本稿でこれまで取り上げたチップはすべて輸出できなくなっていたはずだ。これらのGPUのHBMユニットの典型的な帯域幅密度は、おそらく2 GB/s/mm^2というしきい値の約5倍だからである。しかし規制は、この規則が単体で販売されるHBMユニットにのみ適用され、HBMを同じパッケージに搭載したチップには適用されないと明記している。H20 のような演算性能が低く帯域幅の高いGPUが次の禁止対象になるという憶測もあったが、結局のところ、NVIDIAは今後1年はそれらを中国に輸出し続けられそうである。

中国はHBMをSK HynixやSamsungといった外部の供給業者に頼っているので、今回の規則は、中国がチップを国内で製造する能力により大きな影響を与えるかもしれない。しかし、H20 は中国最良の国産チップと同等の価格性能比を持ち、その中国への輸出は引き続き合法であるため、米中間の現在のハードウェア能力の均衡については、2024年12月の更新で何も変わっていない。

今後どうなるのか？

米国が今後も既存の輸出規制を緩めないと仮定すると、ハードウェアの進歩が続くにつれて、米国の最良のチップと中国に輸出できる最良のチップの間の、学習の価格性能比の差は広がり続ける。いずれ、その差は非常に大きくなり、中国にとっては米国から買うより国内でチップを製造するほうが得になると私たちは予想している。重要な問題は、それがいつ起きるかである。

米国がチップの輸出規制だけに頼るなら、Ascend 910B が A100 にほぼ相当する以上、現在の4年の差が米国にとってできる最善だと思われる。しかし、主要な部品や製造装置の中国への輸出を防ぐことについては、米国にはほかにも引ける手段がある。また、そうした輸入なしに中国が Ascend 910B を引き続き大量に生産できるかは不明である。

私の推測では、米中間の学習の価格性能比の差は、今後数年はほぼ同じにとどまるだろう。技術の最先端に追いつこうとする中国の取り組みは、中国が輸入できる部品や装置に対する米国の制限の強化によって相殺されるからである。

推論実行については、輸出規制の次の改定がメモリ帯域幅の大きいチップを標的にするかどうかが不明なので、将来を予測するのはより難しい。最新の更新には、こうしたチップをHBMの輸出規制の対象から除外する条項が明記されている。ここから、BISはそうした規制を検討したうえで見送ったと考えられる（HBMへの懸念がまったく視野に入っていなかったのではなく）。この結果を生んだ政治的な過程について私はよいモデルを持っていないので、それが今後どう変わるかを確信を持って予測することはできない。とはいえ、来年 H20 のようなチップが禁止の対象になる可能性はまだそれなりにある。