収録基準（GPUクラスター）

このデータセットが対象とするのはGPUクラスターである。GPUクラスターは、アクセラレータと呼ばれるプロセッサを大量に備え、物理的に大きく離れていない一続きの敷地に設置されている。GPUクラスターは、アクセラレータ同士を高帯域のネットワーク機器でつないだAIスーパーコンピューターとして構成されることもある。

基準

次の基準を両方とも満たすクラスターは、このデータベースに収録する。

適切なインフラやソフトウェアと組み合わせればAIのワークロードを高速化できるチップを、そのシステムが備えていること。NVIDIAのV100、A100、H100、GB200といったGPU、GoogleのTPU、そのほかフロンティアAIモデルの学習によく使われるチップがこれに当たる。
建設された時点で、ほかのGPUクラスターと比べて理論性能が高いこと。最高水準の機械学習モデルを学習させるには、開発者は通常、それ以前のモデルに使われた量を上回る計算資源を利用する必要がある。また、ハードウェアの改善は速く、時間とともに指数関数的な傾向をたどるため、研究対象の期間中は動的な閾値を用いる。収録されるには、システムの理論性能が、そのシステムが初めて稼働した日に存在していた既知の最大のGPUクラスターの1%以上でなければならない。
- 理論性能は、チップの数に、そのチップの理論上の最大（非スパースの）FLOP/sの値を掛けて計算する。FLOP/sの値には、32ビット、16ビット、8ビットの数値形式のうち最も高いものを使う。各時点で収録に必要な最低のFLOP/sの値はこちらを参照してほしい。
研究対象の期間の外では、時間とともに変わらない収録の閾値を適用する。
- 2017年より前のシステムは、数値精度を問わず理論性能が10^16 FLOP/s以上であれば収録する。これは、2017年より前のクラスターの最高性能のおよそ1%に当たる。
- 2024年より後のシステムは、理論性能がH100の1,000個分以上に相当すれば収録する。これは、2024年末時点で首位のクラスターの規模の1%に当たる。

さらに、稼働を始めたときに上記の要件を満たす可能性が高いと見込まれる計画中のクラスターも収録する。これらはStatus項目の値が「Planned」となっており、可視化では表示・非表示を切り替えられる。

データの出典

GPUクラスターのデータは、機械学習の論文、公開されているニュース記事、プレスリリース、既存のスーパーコンピューターの一覧など、さまざまな出典から収集・維持している。

まず、Google Search APIを使って「AI supercomputer」や「GPU cluster」といった主要な語句で2019年から2025年までを検索した。得られた記事で言及されているクラスターやスーパーコンピューターをGPT-4oで抽出し、候補となるクラスターの一覧を作った。また、Top500やMLPerfといった公開の一覧や、GPUのレンタル市場からもスーパーコンピューターを追加した。候補となるクラスターごとに、使われているチップの数と種類、稼働開始時期、報告された性能、所有者、所在地といった公開情報を手作業で調べた。手法の詳しい説明は、私たちの論文の付録Aにある。