データインサイト 2024年10月23日 AIの学習クラスタの規模は2016年以降20倍以上に拡大している 著者：Robi Rahman（Epoch AI） 2016年にGPU 800基で学習されたGoogleのNASv3強化学習ネットワークから、2024年にH100 GPU 16,384基を使って学習されたMetaのLlama 3.1 405Bまでに、使われたプロセッサの数は20倍以上に増えた。Gemini Ultraはさらに多くのTPUで学習されたが、正確な詳細は公表されていない。ハードウェア数と公開日ハードウェア数と公開日上位3件その他のモデルハードウェア数11010010001万10万20162017201820192020202120222023202420252026公開日公開日：2015-10-28 ハードウェア数：1公開日：2016-03-04 ハードウェア数：1公開日：2016-05-08 ハードウェア数：1公開日：2016-06-16 ハードウェア数：32公開日：2016-10-07 ハードウェア数：60公開日：2016-11-05 ハードウェア数：8公開日：2016-11-06 ハードウェア数：1公開日：2016-11-17 ハードウェア数：32公開日：2016-12-15 ハードウェア数：1公開日：2016-12-23 ハードウェア数：1公開日：2017-01-06 ハードウェア数：20公開日：2017-01-23 ハードウェア数：64公開日：2017-06-12 ハードウェア数：8公開日：2017-07-07 ハードウェア数：1公開日：2017-07-10 ハードウェア数：50公開日：2017-08-07 ハードウェア数：8公開日：2017-10-06 ハードウェア数：1公開日：2018-02-05 ハードウェア数：1公開日：2018-03-22 ハードウェア数：1公開日：2018-05-02 ハードウェア数：336公開日：2018-06-01 ハードウェア数：8公開日：2018-08-28 ハードウェア数：128公開日：2018-09-17 ハードウェア数：8公開日：2018-09-28 ハードウェア数：8公開日：2018-10-11 ハードウェア数：64公開日：2018-11-05 ハードウェア数：64公開日：2018-11-05 ハードウェア数：256公開日：2018-12-12 ハードウェア数：8公開日：2019-01-09 ハードウェア数：32公開日：2019-03-26 ハードウェア数：4公開日：2019-04-08 ハードウェア数：1公開日：2019-08-22 ハードウェア数：1公開日：2019-09-17 ハードウェア数：1公開日：2019-09-17 ハードウェア数：512公開日：2019-09-17 ハードウェア数：512公開日：2019-10-23 ハードウェア数：512公開日：2019-10-30 ハードウェア数：384公開日：2019-11-05 ハードウェア数：500公開日：2019-11-11 ハードウェア数：1024公開日：2019-12-03 ハードウェア数：8公開日：2019-12-13 ハードウェア数：512公開日：2019-12-19 ハードウェア数：64公開日：2020-01-28 ハードウェア数：1024公開日：2020-02-08 ハードウェア数：8公開日：2020-02-09 ハードウェア数：512公開日：2020-02-13 ハードウェア数：256公開日：2020-03-11 ハードウェア数：4公開日：2020-03-24 ハードウェア数：256公開日：2020-05-02 ハードウェア数：8公開日：2020-05-06 ハードウェア数：1公開日：2020-06-30 ハードウェア数：1024公開日：2020-08-03 ハードウェア数：8公開日：2020-09-01 ハードウェア数：4公開日：2020-10-02 ハードウェア数：16公開日：2020-10-20 ハードウェア数：256公開日：2020-10-21 ハードウェア数：64公開日：2020-12-01 ハードウェア数：64公開日：2020-12-15 ハードウェア数：128公開日：2020-12-23 ハードウェア数：8公開日：2020-12-25 ハードウェア数：4公開日：2021-01-05 ハードウェア数：256公開日：2021-01-05 ハードウェア数：1024公開日：2021-01-11 ハードウェア数：1024公開日：2021-02-09 ハードウェア数：1公開日：2021-02-13 ハードウェア数：32公開日：2021-03-01 ハードウェア数：1024公開日：2021-03-05 ハードウェア数：480公開日：2021-04-19 ハードウェア数：128公開日：2021-05-04 ハードウェア数：1024公開日：2021-05-04 ハードウェア数：256公開日：2021-05-20 ハードウェア数：1公開日：2021-05-26 ハードウェア数：512公開日：2021-06-10 ハードウェア数：256公開日：2021-06-11 ハードウェア数：512公開日：2021-06-21 ハードウェア数：8公開日：2021-06-21 ハードウェア数：8公開日：2021-06-23 ハードウェア数：16公開日：2021-06-24 ハードウェア数：2公開日：2021-06-28 ハードウェア数：8公開日：2021-07-05 ハードウェア数：384公開日：2021-07-29 ハードウェア数：512公開日：2021-08-06 ハードウェア数：8公開日：2021-09-06 ハードウェア数：8公開日：2021-09-20 ハードウェア数：256公開日：2021-09-21 ハードウェア数：32公開日：2021-09-28 ハードウェア数：256公開日：2021-10-04 ハードウェア数：64公開日：2021-10-12 ハードウェア数：2128公開日：2021-10-31 ハードウェア数：8公開日：2021-11-22 ハードウェア数：512公開日：2021-12-08 ハードウェア数：4096公開日：2021-12-13 ハードウェア数：1024公開日：2021-12-15 ハードウェア数：128公開日：2021-12-20 ハードウェア数：256公開日：2021-12-23 ハードウェア数：1920公開日：2022-01-07 ハードウェア数：32公開日：2022-02-02 ハードウェア数：3750公開日：2022-02-09 ハードウェア数：96公開日：2022-02-10 ハードウェア数：1公開日：2022-02-10 ハードウェア数：1024公開日：2022-02-22 ハードウェア数：64公開日：2022-04-13 ハードウェア数：256公開日：2022-04-29 ハードウェア数：1536公開日：2022-05-02 ハードウェア数：1024公開日：2022-05-10 ハードウェア数：512公開日：2022-05-12 ハードウェア数：256公開日：2022-05-23 ハードウェア数：256公開日：2022-05-27 ハードウェア数：64公開日：2022-05-27 ハードウェア数：8公開日：2022-06-06 ハードウェア数：8公開日：2022-06-14 ハードウェア数：2048公開日：2022-06-29 ハードウェア数：1024公開日：2022-07-11 ハードウェア数：384公開日：2022-07-21 ハードウェア数：512公開日：2022-08-02 ハードウェア数：128公開日：2022-08-04 ハードウェア数：768公開日：2022-08-10 ハードウェア数：128公開日：2022-09-14 ハードウェア数：8公開日：2022-09-14 ハードウェア数：1024公開日：2022-10-05 ハードウェア数：64公開日：2022-10-20 ハードウェア数：512公開日：2022-10-20 ハードウェア数：512公開日：2022-11-14 ハードウェア数：128公開日：2022-11-16 ハードウェア数：128公開日：2022-12-04 ハードウェア数：320公開日：2022-12-19 ハードウェア数：4公開日：2022-12-28 ハードウェア数：8公開日：2023-01-10 ハードウェア数：16公開日：2023-01-15 ハードウェア数：128公開日：2023-01-16 ハードウェア数：64公開日：2023-01-30 ハードウェア数：16公開日：2023-02-10 ハードウェア数：1024公開日：2023-02-24 ハードウェア数：2048公開日：2023-03-15 ハードウェア数：384公開日：2023-03-20 ハードウェア数：512公開日：2023-03-27 ハードウェア数：32公開日：2023-03-29 ハードウェア数：64公開日：2023-03-30 ハードウェア数：512公開日：2023-04-05 ハードウェア数：256公開日：2023-04-17 ハードウェア数：8公開日：2023-05-09 ハードウェア数：512公開日：2023-05-11 ハードウェア数：16公開日：2023-06-27 ハードウェア数：8公開日：2023-07-05 ハードウェア数：192公開日：2023-07-06 ハードウェア数：768公開日：2023-07-18 ハードウェア数：8公開日：2023-07-18 ハードウェア数：1000公開日：2023-08-05 ハードウェア数：2公開日：2023-08-28 ハードウェア数：1公開日：2023-08-29 ハードウェア数：16公開日：2023-08-30 ハードウェア数：1公開日：2023-09-06 ハードウェア数：4096公開日：2023-10-01 ハードウェア数：4公開日：2023-10-07 ハードウェア数：1公開日：2023-10-11 ハードウェア数：8公開日：2023-10-26 ハードウェア数：4公開日：2023-10-30 ハードウェア数：512公開日：2023-11-02 ハードウェア数：128公開日：2023-11-05 ハードウェア数：8公開日：2023-11-13 ハードウェア数：32公開日：2023-11-15 ハードウェア数：1024公開日：2023-11-22 ハードウェア数：5000公開日：2023-11-29 ハードウェア数：4公開日：2023-12-12 ハードウェア数：128公開日：2023-12-21 ハードウェア数：256公開日：2024-02-12 ハードウェア数：128公開日：2024-02-23 ハードウェア数：1.23万公開日：2024-03-13 ハードウェア数：2公開日：2024-05-01 ハードウェア数：32公開日：2024-05-03 ハードウェア数：128公開日：2024-05-08 ハードウェア数：256公開日：2024-05-20 ハードウェア数：128公開日：2024-06-13 ハードウェア数：64公開日：2024-06-14 ハードウェア数：6144公開日：2024-06-24 ハードウェア数：512公開日：2024-07-29 ハードウェア数：8192公開日：2024-07-29 ハードウェア数：2048公開日：2024-09-19 ハードウェア数：64公開日：2024-10-04 ハードウェア数：6144公開日：2024-10-10 ハードウェア数：48公開日：2024-10-15 ハードウェア数：128公開日：2024-10-18 ハードウェア数：2000公開日：2024-10-22 ハードウェア数：128公開日：2024-10-22 ハードウェア数：128公開日：2024-10-22 ハードウェア数：128公開日：2024-11-25 ハードウェア数：32公開日：2024-12-05 ハードウェア数：128公開日：2024-12-13 ハードウェア数：128公開日：2024-12-24 ハードウェア数：2048公開日：2024-12-31 ハードウェア数：16公開日：2025-01-20 ハードウェア数：256公開日：2025-03-16 ハードウェア数：512公開日：2025-03-22 ハードウェア数：32公開日：2025-04-10 ハードウェア数：8192公開日：2025-07-15 ハードウェア数：512公開日：2016-11-05 ハードウェア数：800公開日：2017-12-05 ハードウェア数：5064公開日：2019-07-01 ハードウェア数：1024公開日：2019-12-13 ハードウェア数：1536公開日：2020-05-28 ハードウェア数：1万公開日：2021-06-08 ハードウェア数：2048公開日：2021-10-11 ハードウェア数：4480公開日：2022-04-04 ハードウェア数：6144公開日：2023-03-15 ハードウェア数：2.5万公開日：2023-09-28 ハードウェア数：1.38万公開日：2023-12-06 ハードウェア数：5.7万公開日：2024-07-23 ハードウェア数：1.64万公開日：2025-02-17 ハードウェア数：8万公開日：2025-04-05 ハードウェア数：3.2万公開日：2025-07-09 ハードウェア数：20万NASv3 (CIFAR-10) 公開日：2016-11-05 ハードウェア数：800AlphaZero 公開日：2017-12-05 ハードウェア数：5064RoBERTa Large 公開日：2019-07-01 ハードウェア数：1024Megatron-Turing NLG 530B 公開日：2021-10-11 ハードウェア数：4480OpenAI Five 公開日：2019-12-13 ハードウェア数：1536GPT-3 公開日：2020-05-28 ハードウェア数：1万ViT-G/14 公開日：2021-06-08 ハードウェア数：2048GPT-4 公開日：2023-03-15 ハードウェア数：2.5万Gemini 1.0 Ultra 公開日：2023-12-06 ハードウェア数：5.7万PaLM (540B) 公開日：2022-04-04 ハードウェア数：6144Amazon Titan 公開日：2023-09-28 ハードウェア数：1.38万Llama 3.1-405B 公開日：2024-07-23 ハードウェア数：1.64万NASv3 (CIFAR-10)AlphaZeroRoBERTa LargeMegatron-Turing NLG 530BOpenAI FiveGPT-3ViT-G/14GPT-4Gemini 1.0 UltraPaLM (540B)Amazon TitanLlama 3.1-405B出典：Epoch AI（CC BY 4.0）・作図：AGI Hubepoch.ai データ（原文・英語）学習クラスタのハードウェア数 CSV・Epoch AI ← データインサイト一覧へ
