データの解説 機械学習ハードウェア
項目の定義
原文：Machine learning hardware documentation – Records
このデータセットには、プロセッサのさまざまな詳細、属性、仕様を収めた項目がある。データセットのレコードには、大きく分けて次の3つの領域に関する情報がある。
プロセッサの仕様：クロック周波数、メモリ容量、性能など。
来歴の詳細：製造元や発売日など。
メタデータ：ハードウェアについての情報を載せた出典や、そのハードウェアを使って作られたモデルの一覧など。
以下に、データ項目を網羅的に解説する。値の例は、機械学習に最もよく使われるハードウェアの1つであるデータセンター向けGPU、NVIDIA A100 SXM4 40 GBのものである。項目の追加を要望したい場合は、data@epoch.aiまで連絡してほしい。
| 列名 | 型 | 定義 | NVIDIA A100 SXM4 40 GBでの値の例 |
|---|---|---|---|
| Hardware name | テキスト | 製造元を含むハードウェアの正式名称。たとえば「Google TPU v5p」。なお、似たチップを使ったハードウェアにも派生品がありうるので、「NVIDIA H100 SXM5 80GB」と「NVIDIA H100 PCIe」のように区別して名付ける。 | NVIDIA A100 SXM4 40 GB |
| Manufacturer | テキスト | ハードウェアの製造元。 | NVIDIA |
| Type | テキスト | ハードウェアが中央処理装置（CPU）、グラフィックス処理装置（GPU）、テンソル処理装置（TPU）のいずれであるかを示す。Meta MTIAシリーズのような、少数の実験的なその他のアクセラレータについては「Other」とする。 | GPU |
| Release date | 日付 | ハードウェアを初めて借りる、機械学習のワークロードに使う、または購入する（予約注文を除く）ことができるようになった日付。 | 2020-05-14 |
| Release price (USD) | 数値 | 発売時のプロセッサの価格（名目米ドル）。価格はハードウェアのカタログ、報道、その他の資料から収集している。掲載価格は大量購入による割引を反映していない。 | $15,000 |
| FP64 (double precision) performance (FLOP/s) | 数値 | 異なる数値精度での、テンソル演算以外の演算の性能値。2017年以降、機械学習ハードウェアには、AIの学習でよく使われるテンソル演算を最適化するための専用のTensorコアが加わった。 | 9.7e+12 |
| FP32 (single precision) performance (FLOP/s) | 数値 | 異なる数値精度での、テンソル演算以外の演算の性能値。2017年以降、機械学習ハードウェアには、AIの学習でよく使われるテンソル演算を最適化するための専用のTensorコアが加わった。 | 1.9e+13 |
| FP16 (half precision) performance (FLOP/s) | 数値 | 異なる数値精度での、テンソル演算以外の演算の性能値。2017年以降、機械学習ハードウェアには、AIの学習でよく使われるテンソル演算を最適化するための専用のTensorコアが加わった。 | 7.8e+13 |
| TF32 (TensorFloat-32) performance (FLOP/s) | 数値 | テンソル演算の性能値。AIの学習向けに特に最適化されている。 | 1.6e+14 |
| Tensor-FP16/BF16 performance (FLOP/s) | 数値 | テンソル演算の性能値。AIの学習向けに特に最適化されている。 | 3.1e+14 |
| INT16 performance (OP/s) | 数値 | 異なる数値精度での、整数演算の性能値。 | NaN |
| INT8 performance (OP/s) | 数値 | 異なる数値精度での、整数演算の性能値。 | 6.2e+14 |
| INT4 performance (OP/s) | 数値 | 異なる数値精度での、整数演算の性能値。 | NaN |
| Memory size per board (byte) | 数値 | ハードウェアのメモリ量（バイト）。 | 4.0e+10 |
| Memory bandwidth (byte/s) | 数値 | メモリとプロセッサの間のデータ転送速度（バイト毎秒）。 | 1.6e+12 |
| ML OP/s | 数値 | 8ビット以上の幅を持つあらゆる形式での最大性能（単位はFLOP/sまたはOP/s）。 | 6.2e+14 |
| Total processing performance (bit-OP/s) | 数値 | 総処理性能（Total Processing Performance、TPP）は、ハードウェアの理論上の最大性能を、毎秒のビット演算回数（bit-op/s）で測ったものである。対応する数値形式ごとに、毎秒の最大演算回数にその形式のビット幅を掛け、最も大きな値になる形式の値を使って計算する。 | 5.0e+15 |
| Intranode bandwidth (byte/s) | 数値 | 1つのノード内でのデータ転送速度（バイト毎秒）。ノードは通常サーバーからなり、CPU、GPU、メモリ、ストレージなどを含むことがある。 | 6.0e+11 |
| Internode bandwidth (bit/s) | 数値 | 別々のノード間のデータ転送速度（ビット毎秒）。ノードは通常サーバーからなり、CPU、GPU、メモリ、ストレージなどを含むことがある。 | 2.0e+11 |
| Die size (mm^2) | 数値 | 処理チップの物理的な大きさ、つまり面積（平方ミリメートル）。 | 826 |
| TDP (W) | 数値 | 熱設計電力。熱として放散できる理論上の最大電力である。理論上は、そのチップが持続的に消費できる最大の電力に当たる。 | 400 |
| Base clock (MHz) | 数値 | プロセッサの既定の動作周波数（メガヘルツ）。 | 1095 |
| Boost clock (MHz) | 数値 | プロセッサの最大動作周波数（メガヘルツ）。 | 1410 |
| Memory clock (MHz) | 数値 | プロセッサのメモリの動作周波数（メガヘルツ）。 | 1215 |
| Memory bus (bit) | 数値 | 1サイクルあたりにメモリとプロセッサの間で転送できるデータ量（ビット）。 | 5120 |
| Tensor cores | 数値 | Tensorコアの数。TensorコアはNVIDIAのハードウェアの専用部品で、行列演算とテンソル演算を高速化するよう設計されている。 | 432 |
| Process size (nm) | 数値 | 名目上の半導体製造プロセスの寸法（ナノメートル）。 | 7 |
| Foundry | テキスト | ファウンドリー（製造工場）でプロセッサのダイやチップの製造を担う半導体メーカー。 | TSMC |
| Number of transistors (millions) | 数値 | プロセッサに含まれるトランジスタの数（百万個単位）。 | 54200 |
| Link to datasheet | URL | プロセッサの仕様やデータを載せた資料へのリンク。 | |
| Source for the price | URL | ハードウェアの価格を載せた出典へのリンク。 | https://www.nextplatform.com/2022/05/09/how-much-of-a-premium-will-nvidia-charge-for-hopper-gpus/ |
| ML models | カテゴリ（複数選択） | このハードウェアで学習させた機械学習モデル。私たちのモデルのデータベースと照合している。 | Florence, Luminous-supreme, Falcon-180B, GPT-3.5 (davinci-002), GPT-4 (Mar 2023), StableLM-Base-Alpha-7B, Phi-1.5, WeLM, GLM-130B, BlenderBot 3, GPT-NeoX-20B, TinyLlama-1.1B (1T token checkpoint), TinyLlama-1.1B (3T token checkpoint), StableLM-2-1.6B, DINOv2, Stable Code 3B, Falcon-7B, Qarasu-14B, Flan T5-XXL + BLIP-2, BLIP-2 (Q-Former), Swin Transformer V2 (SwinV2-G), SPHINX (Llama 2 13B), EVA-01, CoRe, InstructBLIP, xTrimoPGLM -100B, MPT-7B, Pythia-12b, Pythia-2.8b, Pythia-6.9b, Pythia-160m, Pythia-1b, Pythia-1.4b, Pythia-70m, Pythia-410m, PLaMo-13B, Falcon 2 11B, Janus 1.3B, Luminous-extended, Luminous-base, TeleChat-7B, TeleChat-3B, TeleChat-12B, aiXcoder-7B Base, Janus-Pro-7B, Janus-Pro-1B, SEA-LION V1 3B, SEA-LION V1 7B, Llama-SEA-LION-v2-8B-IT, Novae, HelixProtX, Sailor-7B-Chat, SEA-LION-v1-7B-IT, SGPT BE 5.8B, ToolFormer, Stable Diffusion 2.1, AntiFormer, GPT-2 Medium (FlashAttention), Llemma 7B, Llemma 34B, Teuken 7B, Aquila2 34B, Aquila2‑70B‑Expr, Deepseek OCR, GPT-4 (Jun 2023) |