AIのトレンド

一般消費者向けハードウェアで実行できるモデルは、フロンティアと同程度のペースで性能を伸ばしており、その遅れは平均で約6〜12か月である。

現在のLLMが1回のクエリで取り込めるトークン数には上限があり、これはしばしばコンテキストウィンドウと呼ばれる。2023年半ば以降、最長のLLMコンテキストウィンドウは年約30倍のペースで拡大してきた。その入力を有効に活用する能力は、さらに速く向上している。2つの長文脈ベンチマークでは、トップモデルが正答率80%に達する入力長が、過去9か月で250倍以上に伸びた。

フロンティアモデル開発を専業とする最大手のOpenAIは、2024年以降、年換算売上高を年3倍のペースで伸ばしてきた。これは、2022年のChatGPT公開以降のさらに急速な成長に続くものである。OpenAIにとって最大の独立系競合であるAnthropicは、2023年以降、年9倍超というさらに急速な売上成長を見せている。

OpenAIは週あたり数億人のアクティブユーザーを抱えているが、財務関連の報道に基づくと、2024年に同社が計算資源に費やした支出のうち、モデルの推論実行が占める割合は半分に満たなかった。

この配分は企業によって異なる可能性が高く、利用規模の拡大に伴って変わるかもしれない。研究開発（R&D）に充てられた70%のうち、大半は公開モデルの最終的な学習実行ではなく、研究と実験に使われた。OpenAIが2024年に学習させた最大のモデルであるGPT-4.5は、研究開発予算の約8%を使ったと推定される。

OpenAI、Anthropic、xAIを中心とするフロンティアAI専業のスタートアップ群は、暫定的な資金調達や条件付きの資金調達契約を除いて、累計で約3,700億ドルを調達している。

2012〜2024年に公開された231の言語モデルに基づくと、一定水準の言語モデリング性能に到達するのに必要な計算量は、年約3倍のペースで減少している。

下流の能力の実際の進歩は、さらに速い可能性がある。事後学習による改善（特にコーディングなどの分野）が、事前学習による向上に上乗せされるためである。

著名な言語モデル42件の推定学習期間とハードウェアのレンタル費用に基づくと、フロンティアの学習コストは2020年以降急上昇しており、GPT-3の約200万ドルから、2024年の最大規模の学習実行では3億9,000万ドル近くに達している。

総施設電力が1GWを超える見込みの計画中または建設中のデータセンター・プロジェクト7件に基づくと、着工からギガワット規模に達するまでの期間の中央値は2年強である。電力の推定は、衛星画像、許認可、企業の開示情報をもとにしている。これらの計画は変更される可能性がある。

ギガワット級の施設は大規模な産業プロジェクトであり、米国の約100万世帯分に相当する電力を消費する。初期設備投資の約70%はGPUとネットワーク・インフラに充てられ、残りの大半は電源・冷却インフラと建屋の躯体が占める。

Amazon、Google、Meta、Microsoft、Oracleの5社は、H100換算で測って、2025年第4四半期時点で世界の累計AI計算資源の推定71%を合わせて保有している。2024年第1四半期の63%から上昇した。OpenAIやAnthropicを含む多くのAIラボは、研究開発や推論実行のための計算資源へのアクセスの多くを、これらのハイパースケーラーに依存している。

2008〜2025年に発売された147のAIアクセラレータに基づくと、メモリ帯域幅（メモリとプロセッサ間のデータ転送速度）は、演算性能そのものよりも緩やかに伸びている。多くのAIワークロード、特に推論実行では、データを処理する速さよりもデータを移動させる速さがボトルネックになっているため、この差は重要である。

FP16とBF16はいずれも、登場から約3年以内にモデル学習での採用率が50%に達し、5年以内に標準となった。どちらの移行でも計算効率は向上したが、それにはハードウェアの対応が前提だった。このパターンが続けば、現在普及し始めているFP8は2028年頃までに標準となり、4ビット学習がそれに続く可能性がある。

2008〜2025年に発売された145のAIアクセラレータ全体で、1ワットあたりの演算性能はおよそ2.4年ごとに倍増してきた。電力がフロンティアのデータセンターにとって主要な制約となるなか、エネルギー効率の向上は、一定の電力予算のもとで1つの施設にどれだけの計算資源を詰め込めるかを左右する。