推論モデルがもたらすもの

Gradient Updates は著者個人の見解を述べるニュースレターで、Epoch AI 全体の見解とは限りません。

この1年で最も重要なAIの進展は、おそらく推論モデル（reasoning model）の台頭だろう。推論モデルとは、OpenAIのo1、DeepSeek-R1、Claude 3.7 Sonnetのように、複雑な問題を解くよう強化学習で訓練されたLLMである。これらのモデルはすでに目覚ましい成功を収めており、数学の問題解決、科学的推論、コーディングでAIの能力を大きく高めた。

この記事では、推論モデルが世界に及ぼしうる影響を理解するための、明快な概念上の枠組みを示したい。私の中心的な主張は、推論モデルの主な帰結が、「純粋な推論タスク」――正解があり、その正しさを安価に検証できる抽象的なタスク――に限っては人間を超えるAIの誕生になる、というものだ。たとえば、今後3年以内に、任意の数学の定理を証明する能力でトップクラスの人間の数学者を上回るAIが開発される可能性が高いと私は見ている。その一方で、経済的に価値のあるAIの能力はそれに遅れをとり、信頼できるコンピュータ操作エージェントが登場するのは、質の高い推論モデルよりかなり後になると予測する。

推論モデルが波及的にもたらす影響については、もっと広い憶測もあるので、それにも触れる。たとえばある説によれば、推論モデルは事前学習のスケーリングの終わりを告げるものであり、今後はエンドユーザーにサービスを提供するための外部向けの推論実行（インファレンス）を劇的にスケールさせることに重点が移るという。そうなれば、モデル開発における規模の経済が弱まり、フロンティアAIラボのビジネスモデルが根本から変わりうる。これと対立する別の見方もある。推論モデルは、前の世代の推論モデルが出力した推論過程（reasoning trace）で再帰的に学習させられる。そのためAIラボはこのフィードバックループを利用しようと競い合い、ユーザーへのサービスに多くの計算資源を割くのではなく、計算資源の予算の大半を、推論過程を生成するための社内の推論実行に使うようになるかもしれない、というのだ。

しかし私の考えは、このどちらの見方とも大きく異なる。どちらの描像にも一面の真理はあると思うが、推論モデルが計算資源のスケーリングの根底にある傾向を根本から乱したり、フロンティアAIラボの既存のビジネスモデルを崩したりすることは、今のところ予想していない。私の見方では、推論モデルはおそらく、それ以前の技術革新と地続きのものと解釈すべきだ。そうした革新は概して、モデル開発に使う社内の計算資源と、ユーザーへのサービスに使う外部向けの計算資源との配分を大きく動かすことはなかった。

推論モデルの手短な入門

推論モデルの技術的な詳細を理解するには、DeepSeekがR1モデルをどう学習させたかを説明した論文を読むことを勧める。見事なほど透明性の高い論文である。以下は、推論モデルの背後にある主なアイデアを大まかにまとめたものだ。

LLMの学習には重要な段階が二つある。第一段階は事前学習で、厳選された大量かつ多様なデータのコーパスでモデルを学習させ、幅広い知識の基盤を与える。第二段階は、RLHFのような事後学習で、モデルをエンドユーザーにとって役立つものにすることを目的とする。どちらの段階でも、スケーリング則が示すとおり、学習中にモデルへ投じる計算量を増やせば、一般にモデルからより高い性能が引き出せる。

これまで、AIの計算資源をスケールさせて性能を高めることが議論されるとき、焦点はたいていこの二つの学習段階、とりわけ事前学習に置かれてきた。しかし推論モデルの背後にある主なアイデアは、モデルの性能を高めるために計算資源をスケールさせる経路がもう一つある、というものだ。具体的には、実行時にモデルにより長く考えさせ、問題の正しい解にたどり着かせることができる。最も単純な場合、これはモデルに段階的に考えるよう指示し、推論の過程を表す明示的な思考の連鎖（chain of thought）を示させることを意味する。

残念ながら、元のGPT-4のように事後学習による強化が控えめなLLMは、単に長く考えるよう求めても、性能がうまくスケールしない。プロンプトを工夫すれば推論能力を改善できるものの、プロンプトエンジニアリングだけでは、思考の連鎖を長くするほど推論の質の改善幅が急速に小さくなる。モデルの推論の質を高めるために、AIラボは最近、幅広い推論タスクにわたってモデルの出力に強化学習を適用し、大きな成功を収め始めている。

基本的な考え方は、方策勾配法を使ってモデルの性能を高められる、というものだ。学習のうち強化学習（RL）の段階で、問題に正解したモデルに報酬を与えるだけである。少なくともR1の場合、これは純粋に結果に基づく枠組みで行われる。つまり、モデルが報酬を得るのは答えが正しかったときだけで、途中の推論ステップが正しかったか、推論過程が「正しい方向に進んでいた」かは問われない。驚くべきことに、この手法は単純なのに、創発的な振る舞いをもたらした。モデルは長い推論の連鎖を生成することを学習し、推論を深めるほど推論の質が予測どおりに向上するようになったのである。

さらに、推論モデルは質の高い合成学習データを作る強力な方法にもなる。ある問題に対して推論モデルが正しい答えを出したと判定されれば、その推論過程は、正しい答えにたどり着く方法の効果的な実例になるからだ。この合成データは、将来の推論モデルだけでなく、推論モデルでないモデルの改善にも使える。たとえば、Grok-3の非推論モデルは数学のベンチマークAIME’25で好成績を収めており、推論モデルの出力で学習したことがうかがえる。

推論モデルについて私が最も驚くのは、事後学習のRL段階にこれまで投じられた計算資源が比較的少ないにもかかわらず、この手法がこれほどうまく機能していることだ。以前のGradient Updatesで、Ege Erdilは、DeepSeekがR1の学習のRL段階に費やした総額はわずか100万ドル程度だったと推定した。これに対し、主要なAIラボが個々の基盤モデルの事前学習に費やす額は、数千万ドルに上ることも多い。DeepSeekの論文では、この段階で学習計算量を増やすほど推論が大きく改善しており、これは従来のニューラルネットワークのスケーリング則と一致する。したがって、AIラボがRLの予算をさらに数桁拡大すれば、近いうちにはるかに良い結果が出ると見込むべきだ。この事実は、2025年にはAIの進歩が加速するというEgeの予測の根拠の一つになっている。

推論モデルにできるようになると私が考えること

推論モデルの最近の成功から引き出すべき最も明白な教訓は、強化学習がLLMの性能を高めるのにうまく機能するということだ。これは決定的に重要な発見である。人間が生成した既存のデータでモデルを事前学習させるやり方と違い、強化学習には、モデルの性能を人間を超える水準まで引き上げる可能性がはるかに大きいからだ。

以前から、強化学習が単純なシミュレーション環境――囲碁のような抽象戦略ゲームや、StarCraft IIのようなビデオゲーム――を解くようAIを学習させるのに有効であることはよく知られていた。しかし、同じ成功が数学的推論のような複雑な言語タスクにまで及ぶかどうかは分からなかった。RLがうまく適用されてきた従来型のタスクと違い、こうしたタスクには、幅広い世界知識と、暗記した経験則を使うだけではない一定の創造性が必要に見える。LLMはその両方を備えているので、研究者たちはずっと前から、LLMにRLを適用することが人間より賢い推論能力を実現する決定的な突破口になるかもしれないと考えていた。ところが昨年まで、モンテカルロ木探索のような手法でLLMの推論を強化しようとする試みは、ささやかな成功しか収めなかった。純粋なRLの手法によって、現在の計算資源の水準でAIの推論能力を大きく改善できることをAIラボが示し始めたのは、ごく最近のことである。

理論上、強化学習は、性能を直接測定でき、それをモデルのパラメータを調整する数値の信号に変換できる問題なら何にでも適用できる。しかし実際には、モデルの能力についてフィードバックを得るのは、多くの場合コストがかかる。たとえば、ロボットアームを制御するようモデルを学習させるには、食器を食洗機に入れる、ルービックキューブを解くといった特定のタスクをアームがうまくこなせたかどうかのデータを集める必要がある。こうした場合、タスクを1回試すだけで数分かかることもあり、報酬信号はきわめてまばらになる。深層学習は根本的に、豊富で情報量の多いフィードバックに依存しているので、報酬信号がこのように乏しいと、モデルを効果的に学習させるのは難しい。

こうした実際上の制約があるため、RLが最も効果を発揮するのは、解を低コストで検証できるタスクである。そうしたタスクでは密な報酬信号が得られるので、効率よく学習できる。たとえば、数学の証明が正しいかどうかは、証明支援系を使って自動的に検証できる。LLMは証明の候補を大規模かつ並列に生成できるので、数学の証明の生成はRLに特に向いている。

この推論から、私は次のように結論する。より優れた推論モデルを作るためにRLが積極的にスケールされるにつれて、今後数年で数学の問題解決と証明の生成において非常に印象的な成果が見られるだろう。より具体的に言えば、2027年末までに、トップクラスの人間の数学者を上回る水準で任意の数学の定理を自律的に証明できるAIが登場する確率は、私個人の推測では5分の3程度だ。この予測をもっと正確にするために、私は次のようなAIを想定している。任意の数学的な命題を受け取り、その命題の証明または反証を探索し、30日以内に正しいものを見つけ出す。その平均的な正答率が、同じ期間に個々の人間の数学者が達成できたであろうどの正答率よりも高い、というものだ。

トップクラスの人間の数学者が並外れた才能をもつことを考えると、これは大胆な主張に見えるかもしれない。しかし私は、推論モデルの現在の軌跡と、AlphaGo直前の数年間との間に強い類似を見ている。AlphaGoがイ・セドルに勝利するまでの数年間、DeepMindは計算資源を劇的にスケールさせることで囲碁AIを急速に進歩させ、当時の予測者の大半を驚かせた。同様に、推論に特化したRLと実行時の推論実行に使う計算資源が同じように急速にスケールされるにつれて、今後数年でAIの数学的推論の性能は大きく飛躍すると私は予想している。

もっと広く言えば、近い将来、推論モデルが最もうまく適用されるのは、二つの重要な条件を満たすタスクだと予想している。(1) LLMの事前学習データに、そのタスクの遂行に関連する情報が多く含まれており、効果的な転移学習が可能であること。(2) その解を、ユニットテストや、質を確実に判定できる別のLLMによる評価などを通じて、安価かつプログラムで検証できること。私はこうしたタスクを純粋な推論タスクと呼ぶことにする。入手の難しい経験的なフィードバックを必要とせず、主として構造化された推論を行うタスクだからである。

そうしたタスクの例には、LeetCodeにあるような標準的なプログラミングの課題のほか、定義はそれほど明確でなくても、質の高い出力を見分けやすいタスクも含まれうる。たとえば分析哲学では、Paul Griceが1975年の論文Logic and Conversationで展開した議論は、厳密に形式的でも検証可能な形で正しいわけでもないのに、説得力のある議論として広く認められている。このことは、形式的な正しさを常に厳密に定義できなくても、質が明白な推論タスクであれば、推論モデルを適用できるかもしれないことを示唆している。これを踏まえると、推論モデルが法律文書の作成、理論寄りの科学研究、財務モデリングの質を大きく高める可能性は十分にあると思う。

AIラボが当面苦戦すると私が考えること

しかし、推論モデルがまもなく適用される有望な用途は多いものの、経済的に価値のあるタスクの大半は、おそらく純粋な推論タスクの範囲外にあるとも私は考えている。ほとんどの仕事では、高い成果を上げるのに必要なスキル一式が、実際に引き出せる形でLLMの事前学習データに含まれているわけでもなければ、正しさを安価に検証できる種類の振る舞いでもない。これが最も明らかなのは身体を使うタスクで、汎用ロボット工学の進歩が知識労働の自動化の進展に遅れをとっているように見える理由も、これで説明がつくかもしれない。しかし、純粋にデジタルなタスクにも同様の課題がある。

動画編集を例にとろう。動画編集ソフトの操作方法はオンラインで簡単に見つかるが、一つひとつのキーフレームが人間の求める品質を満たすようにするための細かな専門知識は、読み取れる形ではどこにも存在しないと言ってよいだろう。さらに、個々の編集判断の質を評価するには、コストが高く頻度の低いフィードバックが必要なので、AIがこのスキルを試行錯誤で身につけるのは難しい。こうした制約があるため、プロの動画編集の仕事を確実にこなせる自律的なAIワーカーの開発は、非常に複雑な数学的推論ができるAIシステムに大きく遅れをとると私は予想している。

より一般的に言えば、経済的に価値のあるタスクの大半は同じようなパターンをたどると思う。そのタスクをどう遂行すればよいかに直結する質の高いデータを集めるのが難しいため、その自動化には長期にわたって大きな困難が伴うだろう。

その結果、多くの点でトップクラスの人間の数学者を上回るAI数学者がまもなく登場すると、今のところ予想している。しかしそれと同時に、経済全体で人間の知識労働者を完全に代替できる自律的なコンピュータ操作ワーカーの開発では、AIラボは引き続き大きな課題に直面するとも予想している。同様に、今後数年で推論モデルがAIの研究開発（R&D）のプロセス全体を端から端まで自動化できるようにはならないと予想している。AIの研究開発に関わるタスクのかなりの部分は経験的なフィードバックを必要とし、純粋な推論タスクではなさそうだからである。

このシナリオでは、AIの能力にほとんど逆説的な不均衡が際立つことになる。一方では、論理的推論、構造化された論証、コンピュータプログラミングという狭い範囲で、AIシステムは地球上で最も聡明な人間たちを上回る。他方では、GUIを通じて企業向けのソフトウェアを確実に操作するといった、一見はるかに簡単なタスクにまだ苦戦する。こうした状況は奇妙に見えるかもしれないが、AI開発ですでに観察されてきたパターンにぴったり沿っている。モデルは、チェスのような伝統的に知能と結びつけられてきたタスクには並外れて熟達する一方で、フォークを使う、動画で何が起きているかを理解するといった、人間が苦もなくこなすタスクでは、ほとんど笑ってしまうほど成績が悪いのである。

なお、この現象について私はここまで、AIがさまざまなタスクの遂行方法を効率よく学べなくなるデータのボトルネックから説明してきたが、このパターンは、以前のGradient Updatesで取り上げたHans Moravecの進化論的な議論の観点からも解釈できる。

推論モデルはAIラボのビジネスモデルを覆すか？

推論モデルは純粋な推論タスクを自動化することで直接の影響をもたらすが、それに加えて、AI開発の根本的な傾向も作り変えるだろうと推測する人もいる。たとえばToby Ordは、推論モデルの台頭がAIガバナンスに重大な意味をもつと論じた。

彼が挙げる具体的な可能性の一つは、事前学習の急速なスケーリングが終わりに近づいているかもしれない、というものだ。彼の論拠は、事前学習の手法が限界に近づきつつあるかもしれず、そのためAIラボは学習の計算資源よりも実行時の計算資源のスケーリング――推論実行の際にモデルにより長く考えさせること――を優先するようになる、というものである。Ordによれば、この転換によって計算資源が社内の開発から外部向けの推論実行へと振り向けられ、規模の経済が弱まる可能性があるため、AIラボの既存のビジネスモデルが崩れるかもしれない。彼の言葉を借りれば、次のとおりだ。

LLMのビジネスモデルはソフトウェアと多くの共通点をもってきた。最初に大きな開発費がかかり、その後は顧客が1人増えるごとの限界費用が比較的小さい。ユーザー1人を追加する限界費用がユーザー1人あたりの平均費用より低いと、規模の経済が働き、各社は大量の顧客を獲得するために低価格を設定するよう促される。その結果、少数の企業しか存在しない業界になりやすい。しかし、計算資源のスケールアップの次の2桁分が事前学習ではなく、デプロイ時の推論実行に回るなら、この構図は変わる。既存のビジネスモデルは揺らぎ、業界の小規模な企業に余地が広がるかもしれない。

一方でOrdは、逆の可能性も指摘している。推論モデルはAIを外部に提供することの効用を高めるが、同時に推論実行の計算資源を社内で使うことの効用も高める。推論モデルの出力を学習に再帰的に再投入できるからだ。これにより、推論モデルが合成データを生成して次の世代の推論モデルを学習させ、それがまた次の世代を……というフィードバックループが可能になる。このフィードバック効果を活かすために、AIラボは計算資源の大半を社内で使うかもしれない。そこには、推論過程の生成に使う社内の推論実行の計算資源と、その推論過程から学習するモデルの学習計算量の両方が含まれる。

しかし私は今のところ、どちらの結果も特に起こりそうだとは考えていない。どちらの見方にも一面の真理はあると思う――たとえば、将来のモデルを改善するために、ラボは推論過程の生成に多額を投じると予想している。だがここで私が論じたいのは、もっと具体的な点である。ラボが計算資源を社内の開発と外部への提供にどう配分するかについて、この技術革新が根本的な転換を示しているのかどうか、だ。私の見方では、推論モデルはおそらく、この配分に大きな、持続的な変化をもたらさない。

私がそう考えるのは、関連する点で推論モデルに似た技術革新が過去にすでにいくつもあり、しかもそれらは、外部向けの推論実行と社内の開発の間で計算資源を配分する最適な戦略を劇的に作り変えはしなかったからだ。どちらの方向にも強い実証的な証拠がない以上、推論モデルも同じパターンをたどり、同様にこの配分を根本から覆すことはないというのが、私の最善の推測である。

この議論を理解するには、まず学習と推論実行の計算資源のトレードオフを押さえておくことが重要だ。これは、モデルの性能を大きく変えずに、推論実行の計算資源を学習の計算資源と交換できる（あるいはその逆）可能性を指す。たとえばスケーリング則は、小さめのモデルをより多くのデータで学習させることで学習により多くの計算資源を割り当て、少ないデータで学習させた大きめのモデルと同等の性能を達成する方法を示している。小さいモデルは提供するのが安価なので、これによって推論実行の計算コストが下がる。

2023年、私の同僚のPablo VillalobosとDavid Atkinsonは、このトレードオフを実現する五つの方法を特定した。スケーリング方針の変更、モンテカルロ木探索、モデルの蒸留などである。昨年、Ege Erdilは次のように指摘した。推論実行と学習のトレードオフを実現する手法はさまざまだが、これらの手法全体の実証データを見ると、AIラボは通常、社内の学習と外部向けの推論実行の二つの支出がおおむね同程度の規模にとどまり、どちらも他方を大きく引き離して上回ることのないように計算資源を配分すべきだと考えられる。

こうした他の手法のトレードオフは、Toby Ordが推論モデルについて指摘したものとおおむね似ている。どちらも、外部への提供に使う計算資源と社内の開発に使う計算資源を、相互に交換できるようにするものだ。推論モデルでこのトレードオフが実際にどう展開するかについての情報はあまりないが、過去の経験に基づけば、推論モデルも同じようにバランスのとれた効果をもち、社内の計算資源と外部向けの計算資源がおおむね釣り合うと予想するのが妥当に思える。そして重要な点として、そうなればAIラボの支配的なビジネスモデルはそのまま残る。つまり、ラボが最初に高い開発費をかけて製品を作り、最終的にはそれを低い限界費用でユーザーに提供する、というモデルである。

とはいえ、推論モデルが最適な計算資源配分の戦略に具体的にどう影響するはずかを示すデータは、現時点ではごく限られている。前述のとおり、相反する効果がある。推論モデルは、実行時に長く考えるほど性能が上がるので、外部向けの推論実行により多くの計算資源を使うよう促すかもしれない。同時に、合成学習データを生成するための社内の推論実行の計算資源を増やす動機も与えうる。推論モデルを過去の技術革新と大まかに比べたところから、私はこれらの相反する効果がおおむね相殺し合うと推測したいが、この推測はまだ憶測の域を出ず、情報が増えればこの見方を改める用意がある。

結論

推論モデルは、純粋な推論タスクを自動化する可能性があることから、今後数年のAIで大きな役割を果たそうとしている。しかし、その重要性を過大評価すべきではない。数学、一般的な推論、コンピュータプログラミングではおそらく近いうちに目覚ましい進歩が見られるだろうが、推論モデルはおそらく、AIシステムが以前は扱えなかった新しいタスクを少しずつ引き受けていく、より広く長期的な傾向の一部として理解するのが最もよいだろう。

長年にわたり、アルゴリズムの革新はAIが遂行できるタスクの範囲を着実に広げてきた。こうした進歩はAIをより汎用的にし、タスクの自動化を進めてきたが、どれも単独では、AIラボの既存のビジネスモデルを根本から覆すことも、経済上の不可欠なタスクをすべて自動化するのに必要な最後の構成要素となることもなかった。私の見方では、経済におけるあらゆる価値ある仕事を自動化するという潜在力をAIが完全に引き出すには、マルチモーダル性、自律性、長期記憶、ロボット工学でのさらなる飛躍的進歩がまだ必要である。

最後に、推論モデルが切り開いた機会と同じように、推論実行の計算資源をスケールさせる興味深い新たな経路を切り開く進展が、今後もさらに現れると私は予想している。たとえば、将来のモデルは、複数のAIシステムが並行して協力するマルチエージェントの環境でうまく機能するよう学習させられると予測する。これは、人間の組織が人員を増やして規模を拡大するのと同じように、推論実行の計算資源をスケールさせる新たな道を開くだろう。

推論実行のスケーリングで次に起きる大きなパラダイムシフトを見越したいなら、人間が生産性を上げるために日頃どのように認知的な資源をスケールアップしているかを注意深く考え、そのうえで、人間と同じようにそうした可能性を活かすAIを私たちが最終的にどう設計するかを考えてみるとよいかもしれない。