モデルの能力年14 ECIポイント
ECIのフロンティアは、推論モデルの登場以降、年14ポイントのペースで前進している。
モデルの能力
推論モデルの登場以降、ECIのフロンティアは年14ポイントのペースで上昇している詳しく読む → SOTAモデルと一般消費者向けハードウェアのモデル8か月
最先端のAI性能は、1年以内に一般消費者向けハードウェアでも利用できるようになる。
SOTAモデルと一般消費者向けハードウェアのモデル
単一の家庭用GPUに収まるモデルは、絶対的なフロンティアから1年未満の遅れで追随している詳しく読む → LLMのコンテキストウィンドウ年30倍
LLMのコンテキストウィンドウは、2023年以降、年30倍のペースで拡大している。
LLMのコンテキストウィンドウ
フロンティアLLMはより長い入力を受け付けるようになり、実際に使える文脈の長さはそれ以上の速さで伸びている90%信頼区間 10〜50倍(倍増期間2.1〜3.6か月、年1.0〜1.7桁)
詳しく読む → 計算資源の保有量の伸び年3.4倍
AIチップの保有総量が持つ計算能力の合計は、年3.4倍のペースで増えている。
計算資源の保有量の伸び
世界のAI計算能力は7か月ごとに倍増している90%信頼区間 3.2〜3.7倍(倍増期間6.4〜7.2か月、年0.51〜0.57桁)
詳しく読む → OpenAIの売上成長年3.2倍
OpenAIの年換算売上高は、2024年以降、年3.2倍のペースで伸びている。
OpenAIの売上成長
OpenAIの売上高は2024年以降、年3倍のペースで伸びている90%信頼区間 3.0〜3.4倍(倍増期間6.8〜7.6か月、年0.48〜0.53桁)
詳しく読む → フロンティアの推論実行向け計算資源30%
2024年にOpenAIが計算資源に費やした支出のうち、推論実行(インファレンス)に使われたのはわずか30%だった。
フロンティアの推論実行向け計算資源
OpenAIの2024年の計算資源の大半は実験に使われた詳しく読む → フロンティアAIへの投資3,700億ドル
フロンティアAIラボは3,700億ドル超を調達している。
フロンティアAIへの投資
AI企業の株式による資金調達額(年ごと・企業別)詳しく読む → 学習計算量年5倍
フロンティア言語モデルの学習計算量は、2020年以降、年5倍のペースで増加している。
学習計算量
注目すべきモデルの学習計算量90%信頼区間 4〜6倍(倍増期間4.6〜6.0か月、年0.6〜0.8桁)
詳しく読む → ソフトウェアの進歩年3.0倍
事前学習の計算効率は年約3.0倍のペースで向上している(同じ性能に必要な計算量が年約3分の1になる)。
ソフトウェアの進歩
90%信頼区間 2.8〜4.4倍(倍増期間5.6〜8.1か月、年0.4〜0.6桁)
詳しく読む → 学習コスト年3.5倍
フロンティア言語モデルの学習コストは、2020年以降、年3.5倍のペースで増加している。
学習コスト
大規模AIモデルの学習にかかるハードウェアとエネルギーの償却コストの推移90%信頼区間 2.8〜4.4倍(倍増期間6〜8か月、年0.4〜0.6桁)
詳しく読む → 最大のAIデータセンター110万 H100e
既知で最大のAIデータセンターは、NVIDIA H100チップ110万個分に相当する計算能力を持つ。
最大のAIデータセンター
単一データセンターの計算能力の記録は7か月ごとに倍増している詳しく読む → 建設期間2.1年
ギガワット級のデータセンターは、約2年で建設できる。
建設期間
ギガワット級のデータセンターは、おそらく2年以内に建設できる詳しく読む → 1ギガワットあたりのコスト380億ドル
IT電力1ギガワットの典型的なAIデータセンターには、初期設備投資(CapEx)として約380億ドルかかる。
1ギガワットあたりのコスト
1ギガワット級AIデータセンターの初期設備投資詳しく読む → ハイパースケーラーの計算資源シェア71%
5社のハイパースケーラーが、世界のAI計算資源の3分の2超を保有している。
ハイパースケーラーの計算資源シェア
5社のハイパースケーラーが、世界のAI計算資源の3分の2超を保有している詳しく読む → 1ドルあたりのチップ性能年1.49倍
AIチップの1ドルあたり性能は、2023年以降、年49%向上している。
1ドルあたりのチップ性能
四半期ごとに購入されるAIチップの1ドルあたり性能は、平均で年49%向上している90%信頼区間 1.36〜1.66倍(倍増期間1.4〜2.3年、年0.13〜0.22桁)
詳しく読む → メモリ帯域幅年1.28倍
GPUのメモリ帯域幅は、2008年以降、年28%のペースで増加している。
メモリ帯域幅
GPUのメモリ帯域幅(2008年以降)90%信頼区間 1.24〜1.33倍(倍増期間2.4〜3.2年、年0.09〜0.12桁)
詳しく読む → 数値フォーマットの普及3〜4年
過去のサイクルでは、新しい数値フォーマットが広く普及するまでに3〜4年かかった。
数値フォーマットの普及
これまでのサイクルでは、新しい数値フォーマットの普及に3〜4年かかった詳しく読む → 1ワットあたりのFLOP/s年1.34倍
GPUのエネルギー効率は、2008年以降、年34%向上している。
1ワットあたりのFLOP/s
最先端の機械学習ハードウェアのエネルギー効率90%信頼区間 1.29〜1.39倍(倍増期間2.1〜2.7年、年0.11〜0.14桁)
詳しく読む →