推論実行のコスト負担はどれほど続くのか？

Toby Ord が、フロンティアAIモデルで強化学習（RL）と推論実行（インファレンス）の計算資源がどうスケールするかについて、示唆に富む記事を書いている。

私の理解では、彼の議論の核心は次のとおりである。

• (1) RLのスケーリングが成果を生むのは主に、モデルがより長い出力を有効に使えるようになるからである。つまり、その成果を手にするには推論実行の計算資源をスケールさせる必要がある。
• (2) RLのスケーリングそのものの見返りは小さく、推論実行を100倍に増やして得られるものに並ぶには、およそ1万倍の計算資源が要る。

推論実行のコストは利用のたびにかかり、学習コストのように償却できない。この点と合わせると、事前学習のスケーリングから離れていくにつれて、大きな経済的負担が長く続くという構図が浮かぶ。

Toby の分析には同意する点が多く、その見方も有用だと思う。しかし、上の二つの主張はどちらも誇張されているかもしれない。(1) について：推論実行のコストは利用のたびにかかるとはいえ、一定の能力水準に達するための金銭的なコストは時とともに急速に下がるので、負担はそれほど長く続かないかもしれない。(2) について：RLのスケーリングのデータは乏しく、o1 や o3 以降、RLでは計算効率がかなり進歩した可能性が高い。

Epoch AI の最新情報を受け取る 購読する

同意する点

推論実行の計算資源を増やせばそもそも解けるタスクについては、RLの計算資源を増やすより推論実行の計算資源をスケールさせるほうが効率的に思えることが多い。この点で私は Toby に同意する。¹

強化学習をスケールさせると、以前はテスト時の計算資源をいくら使ってもできなかった新しいタスクもこなせるようになる（たとえば多くのMETRのタスク）。しかし Toby が論じるように、RLがこうした新しいタスクを可能にするのは、主に、モデルがタスクをこなす際により長い出力（思考の連鎖、ツール呼び出し、文章の作成）を有効に使えるようにすることによる。こうした難しいタスクは、もともと完了までに多くのステップを要することが多い。そして強化学習をスケールさせるだけでは、個々のフォワードパスの中で行われるステップが増えるようには特に見えない（Ryan Greenblatt による関連する記事も参照）。

したがって、RLをスケールさせた新しいモデルでこうした新しく難しいタスクを解くには、大きな推論実行のコストを払わなければならない。これは変動費であり、学習コストと違って、利用者を増やしても償却されない。

能力を固定したときのコストは急速に下がる

Toby は、RLのスケーリングが限界に近づくなか、残されているのは推論実行のスケーリングだけであり²、推論実行のスケーリングはモデルを1ステップごとに賢くするのではなく、考える時間を増やすものだと示唆している。そのため、近年のAIの進歩を牽引してきた計算資源のスケーリングは大きく弱まり、しかも利用のたびにかかるコストが長く残ると彼は論じる。

利用ごとのコストが短期的に大きくなりうることには同意する³。だが、それが長く続くとは思えない。一定の能力水準に達するための推論実行の価格は急速に下がるからだ。関連する記事で Toby は、METRのタスク群でモデルを動かすコストと、タイムホライズンが伸びるにつれてそれがどう変わってきたかを調べている。しかし、この分析で扱われたモデルはどれも公開時点で最高水準のものだったので、推論実行がどれだけ安くなりうるかは考慮されていない。

第一に、個々のフォワードパスは時とともに安くなりうる。モデルの学習が改善されると、小さなモデルが以前の大きなモデルと同等の能力に達せるようになる。わかりやすい例が蒸留である。フロンティアモデルが質の高い推論の過程を生成できるようになれば、それをまねるように、より小さく安いモデルを学習させられる。それに加えて、推論実行の効率を高めるアルゴリズムの改善（たとえば投機的デコーディング、ページドアテンション、スパースアテンション、KVキャッシュのオフロードや圧縮など）が次々と現れ、いずれもトークンあたりのコストを下げている。

同時に、モデルは時とともに、より少ないフォワードパスで同じ能力水準に達せるようになる。モデルはより簡潔に推論するように学習させられる。たとえば Anthropic は、Claude Sonnet 3.7 から Claude Sonnet 4 にかけて、Claude の推論の冗長さを大幅に減らした。⁴

ハードウェアの改善も効いている。FLOPあたりのコストは、GPUの世代が新しくなるたびに下がる。上のアルゴリズムの改善と合わせた正味の効果は、具体的なタスクで確かめられる。FrontierMath で正答率約27%に達するのに、2025年4月には推論の度合い（reasoning effort）を高くした o4-mini で約4,300万出力トークンが必要だったが、2025年12月には推論の度合いを低くした GPT-5.2 で約500万トークンしか要らなかった。出力トークンあたりの価格の違いを考慮しても、8か月でおよそ3分の1にコストが下がったことになる。全体として、一定の能力水準に達するためのコストは、ごく大まかに年に5分の1〜10分の1に下がる傾向にあるようだ。⁵具体的に、複雑な経済モデルのWebインターフェースを完璧に再現できる最初のAIが、それを5万ドルでしかできないとしよう。最初の価格としては高いが、最も急速なコスト低下が続けば、1年後には5,000ドル、2年後には500ドルになる。

これで経済的な構図は変わる。ある能力水準に達するのが利用者にとって最初は高くついても、時とともにずっと安くなるのだ。とはいえ、この低下は将来ゆるやかになるかもしれない。おそらく、あるパラメータ数を下回ると、どう蒸留しても、モデルが小さすぎて強い汎用的なエージェント能力をもてなくなる。また、強く蒸留したモデルは全体的に脆いように見える。私たちが観察している急速なコスト低下は、ベンチマークで能力を測っていることによる見かけの効果である部分もあるかもしれない。ベンチマークでは、蒸留したモデルが不釣り合いに良い成績を出す傾向があるからだ。とはいえ、こうした留保を考慮しても、年に5分の1〜10分の1というのは非常に速い傾向である。全体として、この点から私は、小さなモデルの能力と推論実行のコスト低下の傾向を追うことに関心を強めた。近いうちにもっと厳密な分析を出すので、ご期待いただきたい！

RLのスケーリングの見返りはもっと大きいかもしれない

Toby の中心的な推定は、OpenAI が最初に o1 を発表したときのグラフの左右2枚のパネルを比べることから来ている。どちらのパネルも、およそ2桁（100倍）にわたる対数のx軸で AIME での性能を示している。左のパネルはRLの学習のスケーリングを、右のパネルは推論実行のスケーリングを示す。Toby は、RLのパネルの傾きが推論実行のパネルのおよそ半分であることに注目する。推論実行を100倍にすると約20%から約80%に上がるのに対し、RLの学習を100倍にしても約33%から約66%にしか上がらない。この割合だと、20%から80%への伸びに並ぶには、RLの計算資源を1万倍にする必要がある。Toby はさらにこれを、o3 の学習曲線や、o1 から o3、o3 から GPT-5 への比較と照らし合わせており、それらとおおむね整合している。

興味深い観察だが、ここから強い結論を引き出すのは難しいと思う。x軸の数値は消されているし、少数のデータ点から傾きを読み取っているうえ、スケーリングの傾向は、外部からは知りえない細部に左右されやすいことが多い。

より重要なのは、アルゴリズムの進歩が、あるRLのスケーリング曲線を大きく動かしうることだ。たとえば、RLのスケーリング則を調べたこの論文の図2では、Scaled RL が、同等のベンチマークで GRPO の2倍を超える傾きを達成している（下図を参照）。これは、y軸が線形でx軸が対数の場合も同様である。o1 や o3 よりはるかに小さい計算規模での話なので直接は比較できないが、RLの学習の効率がアルゴリズムによってどれほど変わりうるかを示している。

o1 や o3 の初期に OpenAI がRLの計算効率を最大化することに一点集中していなかった、というのも納得がいく。RLの計算資源は学習コスト全体のまだ小さな割合にすぎず、計算資源を積極的に最適化しなくても見返りは十分だったのだ。それ以降、アルゴリズムは（主に、より良く、より多様なRLのタスクと環境によって）かなり進歩した可能性が高く、それによってRLのスケーリングの傾きもおそらく改善した。また o1 と o3 以降の取り組みの多くは、数学とコーディングの2分野の中でRLを限界まで推し進めることよりも、それ以外の新しい分野にRLを適用することに向けられてきた。

結論

RLのスケーリングと推論実行のスケーリングを比べる Toby の議論は有用であり、RLによる向上の多くが思考の連鎖を長くすることでもたらされるという中心的な観察はもっともだ。しかし、彼の描く構図は、これがAIの進歩にとってどれほどのボトルネックになるかを誇張しているかもしれない。一定の能力水準に達するコストは急速に下がるので、推論実行のコスト負担は、公開時点のフロンティアモデルだけを見た場合に思えるよりも一時的なものである。また、私たちが手にしているRLのスケーリングのデータはまだ乏しいので、1万倍という数字は割り引いて受け取るべきだと思う。今回の検討で私は、安いモデルがフロンティアの能力水準にどれほど速く追いつくか、そして固定したタスクの推論実行のコストが時とともにどう下がるかを研究することに、より関心をもつようになった。

有益なコメントをくださった Toby Ord、Ryan Greenblatt、Greg Burnham、Anson Ho、David Owen、Tao Lin、Josh You に感謝する。