論文
AIスーパーコンピュータの動向
原題：Trends in AI supercomputers
はじめに
フロンティアAIの開発は、強力なAIスーパーコンピュータに支えられている。指数関数的に増える計算量でAIモデルを学習させるため、企業はxAIのColossusのような巨大なシステムを構築してきた。こうしたシステムは最大20万基のAI専用チップを搭載し、建設に数十億ドルかかり、中規模の都市に匹敵する数百MWの電力を必要とする。
しかし、これらのシステムについて公開されているデータは限られている。
私たちは、2019年から2025年までの500を超えるAIスーパーコンピュータ（GPUクラスターやAIデータセンターと呼ばれることもある）のデータセットを整備し、性能、必要電力、ハードウェアのコスト、所有者の主な傾向を分析した。わかったことは次のとおりである。
- 計算性能は年2.5倍のペースで伸びた。主要なAIスーパーコンピュータで、より多くの、より優れたチップが使われるようになったためである。
- 必要電力とハードウェアのコストは毎年倍増した。現在の傾向が続けば、2030年には、最大のAIスーパーコンピュータの費用は数千億ドルに達し、9 GWの電力が必要になる。
- AIスーパーコンピュータの急成長は、民間による所有への移行と時期を同じくしていた。私たちのデータセットでは、2019年には産業界が計算能力の約40%を所有していたが、2025年には80%に上がった。
- 世界のAIスーパーコンピュータでは米国が圧倒的で、私たちのデータセットの総計算能力の約75%を所有している。2位は中国で15%である。
以下でこれらの結果をさらに論じる。研究論文の全文はこちらで読める。
計算性能、エネルギー、コストの傾向
主要なAIスーパーコンピュータの計算性能は9か月ごとに倍増してきた。より多くの、より優れたAIチップが導入されたためである（図1）。この伸びを支えた主な要因は二つある。チップの数が年1.6倍に増えたことと、チップ1基あたりの性能が年1.6倍に向上したことである。2019年には1万基を超えるチップを備えたシステムはまれだったが、2024年には数社がその10倍を超える規模のAIスーパーコンピュータを導入した。20万基のAIチップを備えたxAIのColossusがその例である。
主要なAIスーパーコンピュータの必要電力とハードウェアのコストは毎年倍増してきた。主要なAIスーパーコンピュータのハードウェアのコストは年1.9倍、必要電力は年2.0倍のペースで増えた。その結果、2025年3月時点で最も高性能なAIスーパーコンピュータであるxAIのColossusは、ハードウェアのコストが推定70億ドル（図2）で、約300メガワットの電力を必要とした。これは25万世帯分に相当する。必要電力が大幅に増えると同時に、AIスーパーコンピュータのエネルギー効率も向上した。ワットあたりの計算性能は年1.34倍に伸びており、そのほぼすべては、よりエネルギー効率の高いチップが採用されたことによる。
観測された傾向が続けば、2030年6月の最先端のAIスーパーコンピュータは200万基のAIチップを必要とし、費用は2,000億ドル、必要電力は9 GWとなる。これまでのAIチップの生産の伸びや、5,000億ドル規模のProject Stargateのような大規模な資本の投入確約から考えると、最初の二つの要件は満たせる可能性が高い。しかし、9 GWの電力は原子炉9基分に相当し、既存のどの産業施設をも超える規模である。電力の制約を乗り越えるため、企業は分散型の学習手法をますます使うようになるかもしれない。この手法なら、一つの学習実行を複数の場所のAIスーパーコンピュータに分散できる。
AIスーパーコンピュータの所在地と、公的部門・民間部門のシェア
今やAIスーパーコンピュータでは企業が圧倒的である。AI開発が数十億ドル規模の投資を集めるなか、企業はより大規模な学習を行うためにAIスーパーコンピュータを急速に大型化してきた。その結果、産業界の主要なシステムは年2.7倍のペースで成長し、公的部門のシステムの年1.9倍を大きく上回った。性能の伸びが速かったことに加えて、企業は急速に拡大する利用者に対応するため、導入するAIスーパーコンピュータの総数も急速に増やした。その結果、私たちのデータセットでは、世界のAI計算資源に占める産業界のシェアが2019年の40%から2025年の80%に急上昇し、公的部門のシェアは20%を下回った（図3）。
AIスーパーコンピュータの75%は米国にあり、中国がそれに続く。私たちのデータセットでは、世界のAIスーパーコンピュータの性能の約4分の3を米国が占め、2位の中国は15%である（図4）。一方、英国、ドイツ、日本といった従来のスーパーコンピュータ大国は、今ではAIスーパーコンピュータでの存在感が小さい。この変化の背景には、AIの開発と計算で米国に拠点を置く大企業が支配的な立場にあることがある。ただし、データベースの多くのシステムはクラウドサービスなどを通じて遠隔から利用できるため、AIスーパーコンピュータの所在地が、その計算資源を誰が使うかを必ずしも決めるわけではない。
私たちのデータセット
私たちのデータセットと解説は、Epoch AIのデータハブ（Data on AI）で公開しており、今後も定期的に更新していく。
論文はこちらで読める。