研究開発の計算資源支出のうち、最終学習実行が占めるのは少数派である

AI企業が計算資源をどう使っているかについての一般的なイメージでは、大きな使い道は学習と推論実行の2つである。 しかし実際には、研究開発の側はもっと複雑である。最終学習実行、つまり名前の付いたモデルを生み出す学習は、長く費用のかかる探索過程の最後の一歩にすぎない。その学習が始まる前に、企業はさまざまな用途で計算資源を大量に消費している。さまざまな規模での実験、合成データの生成、最終的な学習に踏み切る前にどのアイデアがうまくいくかの検証、そして公開されることのないモデルの学習である。

この区別は重要である。人々が計算量のしきい値やフロンティアモデルの学習費用を論じるとき、多くの場合は最終学習実行のことを指している。しかし、そのモデルを開発するための費用の総額はそれよりはるかに大きい。そして、支出の大半が実行ではなく探索に向けられているなら、フロンティアから何がうまくいくかを学んだ競合他社は、当初の費用のごく一部で同じ結果を再現できるかもしれない。

というわけで、研究開発の計算資源は最終学習実行だけではない。では、どれくらい多いのか。昨年、私たちは OpenAI の2024年の計算資源支出の内訳を推定した。同年の研究開発の計算資源への支出は約50億ドルで、そのうち GPT-4.5 などの公開モデルを生み出した最終学習実行に回ったのは約5億ドル、つまりおよそ10%にすぎなかった。残りは、スケーリング実験、合成データの生成、基礎研究、その他の研究開発の作業に使われた。

ただし、この推定は1社（OpenAI）の1年分（2024年）しか見ていない。企業が計算資源の配分を開示することはめったにないので、このパターンがどれほど一般的なのかは分かりにくい。

ところが1月初め、中国の比較的小規模なAI企業2社、MiniMax と Z.ai が、IPO手続きの一環として研究開発の計算資源支出を開示した。MiniMax と Z.ai のモデルの多くは公開されてもいるので、その最終学習実行にどれだけの計算資源が使われたかを推定し、比較できる。

その結果、このパターンが成り立つことが分かった。規模、国、ビジネスモデルは大きく違うのに、3社すべてで、最終学習実行は研究開発の計算資源支出の少数派にとどまっている。また、これらの比率がキャッチアップ成長について何を示しうるかも検討する。フロンティアから学べる企業は、理論上、実験が少なくて済み、研究開発の計算資源のより多くを学習に充てられるはずである。MiniMax の比率が高いことはこれと整合するが、Z.ai の比率は整合しない。データ点が3つしかないため、証拠は決定的ではない。

Epoch AI の最新情報を受け取る 購読する

MiniMax と Z.ai の計算資源支出の内訳

この分析は2種類のデータに基づいている。研究開発の計算資源支出と、最終学習実行の計算資源支出である。

研究開発の計算資源支出は、MiniMax と Z.ai のIPO資料から直接取った。両社とも2026年1月初めに香港証券取引所に上場した。開示された財務情報は2025年通年をカバーしていないため、入手できる最も新しい期間を使うしかない。MiniMax については2024年第4四半期から2025年第3四半期までに報告された計算資源支出を、Z.ai については2024年下半期から2025年上半期までの支出を使う。

OpenAI についての推定と同じ手順に従い、報告された支出の期間を、その1四半期後に公開されたモデルの学習計算量と対応させる。MiniMax については2025年に公開されたモデルの学習計算量を、Z.ai については2024年第4四半期〜2025年第3四半期に公開されたモデルの学習計算量を見る。これは、企業があるモデルのための研究開発の計算資源を、その公開の数か月前に支出していることを考慮したものである。

最終学習実行の計算資源支出の大部分は、いくつかの仮定を置いたうえで、私たちのAIモデルのデータベースから求めた。Epoch はモデルの学習計算量を FLOP で報告している。FLOP を米ドルに換算するには、次の式を使う。

$\text{Cost in USD}=\frac{\text{FLOP}}{\text{GPU peak FLOP/s}\times \text{MFU}\times 3600\text{ seconds/hour}}\times \text{price/GPU hour}$

ここで、

• GPU peak FLOP/s（GPUのピーク FLOP/s）＝ 9.89e14（H800 の密行列 BF16/FP16）。ただし、開発者がモデルを FP8 精度で学習したと明記している場合は除く。
• MFU（モデル FLOP 利用率）は、事前学習と教師ありファインチューニングでは 0.15〜0.35¹、RL（強化学習）では 0.05〜0.20 と仮定する。RL は推論実行の比重が大きく、推論実行は学習より利用率が低いからである。この MFU の不確実性は、モンテカルロ・シミュレーション（一連の計算を通じて不確実性の区間を推定する方法）で伝播させる。
• price/GPU hour（GPU 1時間あたりの価格）は 1.50〜3.00ドルと仮定する。この価格の不確実性もモンテカルロ法で伝播させる。

企業が十分な情報を開示しておらず、私たちのAIモデルのデータベースで学習計算量を精度よく推定できないこともある。その場合は、それらのモデルの学習計算量について90%信頼区間を推定する。

ほとんどのモデルの推定値は最終的な学習計算量の合計にあまり影響しないが、MiniMax の Hailuo 02 は例外である。その計算資源支出の90%信頼区間は［500万ドル, 5,100万ドル］、中央値は1,800万ドルと推定され、これは MiniMax の2025年の学習計算量の合計の約40%にあたる。これは妥当だと考えている。Hailuo は MiniMax の2025年の売上高の32.7%を占めており²、あるモデルへの学習支出はそのモデルの商業的な重要性と相関する傾向があるからである。なお、Hailuo のモデル群を最終学習実行の計算資源から完全に除くと、MiniMax の学習／研究開発比は OpenAI の学習／研究開発比により近くなり、中央値は12.2%、90%信頼区間は［6.4%, 23.5%］となる。³

最後に、OpenAI の計算資源の配分のデータは、以前のデータインサイトから取った。⁴

最終学習実行は研究開発の計算資源支出のごく一部である

これらの推定値から分かったことは次のとおりである。OpenAI、Z.ai、MiniMax のいずれでも、最終学習実行は研究開発の計算資源支出の総額のごく一部にとどまる。OpenAI は9.6%、MiniMax は22.6%、Z.ai は12.3%である。3社の間には大きな違いがあるが、それでもこのパターンは成り立っている。OpenAI は2024年に研究開発の計算資源に50億ドルを支出したのに対し、MiniMax は1億4,100万ドル、Z.ai は2億1,600万ドルだった。3社は異なる国で、異なる規制環境のもと、異なるビジネスモデルで事業を営んでいる。それでも3社すべてで、研究開発の計算資源支出の大半は、公開モデルの最終学習実行以外のものに向けられていた。2024年の OpenAI についての以前の結果が偶然ではなかったことが分かる。

重要な注意点として、これらの数値が測っているのは計算資源への支出であって、実際に実行された FLOP で見た計算量ではない。これが特に重要なのは、学習と研究では MFU（モデル FLOP 利用率）、つまり GPU がどれだけ効率よく使われているかの水準が違うことが多いからである。研究開発の作業は、最終学習実行より GPU 利用率が低くなりがちである。実験には、実行と実行の間の待ち時間、失敗したジョブ、デバッグなど、GPU 利用率を下げる余分な時間や遊休期間が多く伴うからである。これに対して最終学習実行は、ハードウェアをより途切れなく稼働させるよう最適化される。その結果、2つの活動で支出が同じでも、研究開発のほうが MFU が低いぶん、実際に使う FLOP は少ないかもしれない。

研究開発の計算資源とキャッチアップ成長

ここまでは、3社の共通点に注目してきた。3社とも、最終学習実行は研究開発の計算資源支出の小さな割合にとどまる。しかし、比率は同じではない。その違いから何か分かることはあるだろうか。

OpenAI と Z.ai／MiniMax の大きな違いは、OpenAI がAIの能力のフロンティアで事業を行っており、計算資源に1桁多く支出していることである。フロンティアでは、企業は有望そうな研究の方向性を数多く抱えているため、どのアイデアが大規模でうまくいくかを見極める実験に多額を費やす必要がある。

フロンティアから遠い企業なら、先行企業から何がうまくいくかを学び、こうした費用のかかる実験の多くを省いて、研究開発の計算資源のより多くを実際の学習に充てられるはずである。その経路はいろいろある。アイデアは論文や噂を通じて広まるし、競合他社はフロンティアモデルが生成したデータで学習できるし、モデルの振る舞いを分析してその作り方をリバースエンジニアリングすることもできる。あるいは単に、何かが可能だと知り、それに合わせて取り組みを絞り込むこともある。

ここから、後れを取っている企業はフロンティアの企業より学習／研究開発比が高いはずだと予測される。MiniMax はこの予測に合う。その比率は OpenAI や Z.ai より高いように見える。これは、MiniMax が Claude に対して大規模な蒸留キャンペーンを行い、1,300万件を超えるやり取り（DeepSeek や Moonshot より多い）を引き出していたという Anthropic の開示とも整合する。一方、Z.ai はキャッチアップの予測に明確には合わない。その学習／研究開発比は OpenAI と同程度に見えるからである。⁵

全体として、データ点はまだ3つしかなく、それぞれの誤差範囲も広い。したがって、これらの結果はキャッチアップの説明を支持する証拠としても、否定する証拠としても、特に強いものではない。MiniMax の場合はこのパターンが示唆的だが、企業間の学習／研究開発比の違いが何によって生じているかについて、確信を持った結論は出せない。Z.ai と MiniMax のビジネスモデルやインセンティブをよりよく理解できれば、2社の研究開発の計算資源の配分がなぜ違うように見えるのかを説明する助けになるかもしれない。

結論

私たちが調べた3社すべてで、最終学習実行は研究開発の計算資源支出の少数派にとどまる。これは、2024年の OpenAI で見つかったパターンが、別の国のより小規模な企業にも当てはまることを裏づけている。企業間の違いは、データ点がこれほど少ないと解釈が難しい。

この分析をもっと多くの企業について行いたいが、最大の制約は計算資源支出の信頼できるデータを得ることである。これまでのところIPOの開示資料が最良の情報源であり、OpenAI、SpaceX、Anthropic が上場すれば、近いうちにさらに機会があるかもしれない。

有益なコメントと編集をしてくれた Konstantin Pilz と Lynette Bye に感謝する。

付録

研究開発の計算資源支出

Minimax と Z.ai は、IPO資料で研究開発の計算資源を開示している。特に Z.ai の研究開発の計算資源は人民元で報告されている。これを米ドルに換算するため、2025年の平均為替レートである 1ドル＝7.2人民元を用いる。⁶

最終学習実行の計算資源支出

あるモデルの「最終学習実行の計算資源」とは、事前学習と事後学習を含め、そのモデルの学習に特に使われた計算資源を指す。ベースモデルとそのファインチューニング版の両方が公開されている場合、ベースモデルの学習に使われた計算資源を二重に数えることはしない。

最終学習実行の費用を米ドルで推定するには、前述の式を使う。

$\text{Cost in USD}=\frac{\text{FLOP}}{\text{GPU peak FLOP/s}\times \text{MFU}\times 3600\text{ seconds/hour}}\times \text{price/GPU hour}$

これに 50,000 回の抽出によるモンテカルロ・シミュレーションを組み合わせ、3つの入力パラメータにわたって不確実性を伝播させる。

• MFU：対数正規分布でモデル化し、10パーセンタイルと90パーセンタイルを、事前学習と教師ありファインチューニングでは 0.15 と 0.35、RL による事後学習では 0.01 と 0.10 に固定する。
• price/GPU hour（GPU 1時間あたりの価格）：対数正規分布でモデル化し、10パーセンタイルと90パーセンタイルを 1.50ドルと 3.00ドルに固定する。
• 学習計算量の情報が欠けているモデルの FLOP 数。その分布については以下で詳しく説明する。

また、GPU peak FLOP/s ＝ 9.89e14 FLOP/s（H800 の密行列 BF16/FP16）と仮定する。ただし、開発者がモデルを FP8 精度で学習したと明記している場合は、GPU peak FLOP/s ＝ 1.513e15 FLOP/s を使う。サンプルの中で FP8 精度で学習されたモデルは Minimax-M2 だけである。

方法論上の重要な選択は、MFU と GPU 1時間あたりの価格の不確実性をモデル間でどう扱うかである。私たちは、これらはモデル固有のパラメータというより、主に市場や時期の水準で決まる条件だと仮定する。そこで、モンテカルロ法の各抽出で、共通の MFU と共通の GPU 1時間あたりの価格を1つずつ抽出し、すべてのモデルに適用する。

FLOP 数は主に私たちのAIモデルのデータセットから取った。注意点と詳細は、GitHub リポジトリの model_flop.md にある。