ニュースレター
アルゴリズムの進歩は、計算資源への支出を減らすのではなく、おそらく増やす
原題：Algorithmic progress likely spurs more spending on compute, not less
Gradient Updates は著者個人の見解を述べるニュースレターで、Epoch AI 全体の見解とは限りません。
ここ数週間、アルゴリズムの進歩、つまりより少ない資源でモデルを開発・展開できるようにする機械学習手法の改善が、経済にどのような影響を与えるかについて、さまざまな憶測が広がっている。DeepSeek による V3 と R1 の学習に見られるようなアルゴリズムの進歩は、今後、高性能GPUへの需要を減らすだろうと多くの人が言う。その主張によれば、アルゴリズムの進歩によってAIラボは「より少ないものでより多くを成し遂げ」られるようになり、それほど多くの計算資源がなくてもAI製品を作れるようになるという。
本稿で私は逆のことを主張する。アルゴリズムの進歩は、全体の支出を減らすのではなく、AIの計算資源への支出をおそらく増やす。インフレ調整後の金額でも、GDPに占める計算資源への支出の割合でも、そうである。これは特に、計算効率を高めると同時に最先端の性能を向上させることができるような種類のアルゴリズムの進歩に当てはまる。DeepSeek の最近の技術革新は、おおむねこれに該当する。
私はこの主張に実証的な観点から取り組む。最も直接的には、機械学習の傾向のデータから、アルゴリズムの進歩は、機械学習モデルの学習と展開に使われるコンピュータへの投資の急増と同時に起きてきたことがわかる。これは、アルゴリズムの進歩が常に計算資源への投資の減少につながるという考えと真っ向から矛盾する。とはいえ、AIが、スマートフォンやパソコンのようなこれまでの技術で見られたおなじみのパターンをたどる可能性はある。つまり、計算ハードウェアへの需要は初めは急増するが、技術が成熟して広く普及するにつれて、やがて頭打ちになるというパターンである。
結局のところ、この議論は、現在のAIのパラダイムが経済的価値を生み出す能力の限界に近づいているかどうかにかかっている。ディープラーニングが壁にぶつかりつつあると考えるなら、アルゴリズムの進歩によって計算資源の経済的な重要性が下がると予想するのは理にかなっている。このシナリオでは、効率が上がっても、AIラボがより少ない計算資源への投資で同程度の成果を得られるようになるだけで、計算資源への支出全体は減ることになる。
しかし、私のように、計算資源の拡大とさらなるアルゴリズムの進歩がまったく新しい経済的機会、たとえばリモートワークの大半を自動化できるAIエージェントを開くと予想するなら、結論は逆になる。この場合、投資家とAIラボがこうした機会をものにしようと競い合うので、アルゴリズムの進歩は計算資源への需要を減らすのではなく、むしろ支出の拡大を促すだろう。
Epoch AI の最新情報を受け取る 購読する
はじめに
最近、DeepSeek は学習手法の効率の高さで、特にV3 モデルについて、広く称賛を浴びている。V3 は、同等のモデルに使われた総計算量の約10分の1しか使わずに学習されながら、Llama 3 405B と同等かそれを上回る性能水準を達成した。
この成果は確かに見事だが、従来の手法からの改善がとりわけ異例だと見るべきではない。むしろ、これはアルゴリズムの進歩の一例にすぎない。アルゴリズムの進歩とは、機械学習モデルが以前のモデルと同じ性能水準に達するのに、学習に必要な資源が少なくて済むようになってきたという、長く続き、よく記録されている傾向である。
Epoch AI をはじめとする組織は、過去10年間でアルゴリズムの進歩が目覚ましい速度で進んできたことを記録してきた。不確実性は大きいものの、既存の最良の推定によれば、LLMで一定の事前学習性能を達成するのに必要な計算量は、平均して毎年約3分の1に減ってきた。これはムーアの法則よりかなり速い。事後学習による改善も含めれば、その速度はさらに速くなるだろう。
アルゴリズムの進歩という考え方自体は新しくないが、V3 の上に構築された DeepSeek の R1 モデルが突然人気を集めたことで、この話題はより広く注目されるようになった。さまざまな論者が、DeepSeek の開発は、より大きなモデルを学習させるために計算インフラを積極的に拡大するという現在のパラダイムに大きな影響を与えるだろうと主張している。具体的には、計算効率が上がれば、AI企業はAIの計算資源への支出を、そうでなかった場合より少なくすることを選ぶだろうと予測している。
これに対して、Satya Nadella らはジェヴォンズのパラドックスを持ち出して、この考えに反論している。この概念は、エネルギーなどの資源市場でときどき見られてきた歴史的なパターンを説明するものである。技術の進歩によって資源の利用効率が上がると、その結果として資源のコストが下がり、「リバウンド効果」が起きて資源への需要が増える。最終的な結果は、資源の消費の減少ではなく増加である。この論理をAIに当てはめて、この類推の支持者は、AIの学習の計算効率が上がれば、企業は計算資源への支出の総額を減らすどころか、むしろ増やすかもしれないと主張する。
しかし、このパラドックスを持ち出すのは、2つの重要な理由から誤解を招くおそれがある。第一に、ジェヴォンズのパラドックスを現代のエネルギー市場に当てはめることには、経済学者の間で広く異論がある。実証研究の大半は、今日の世界では、効率が上がるにつれてエネルギーの総消費量が増えるほどリバウンド効果が強いことは通常ないと示唆している。むしろ、効率の向上はエネルギー使用量を差し引きで減らす傾向がある。
第二に、そしてより重要なことに、エネルギーなどの資源市場について成り立つことが、AI市場にもそのまま当てはまると考える強い理由はない。一般に、資源を得たり使ったりする効率が上がれば、その資源の消費が必ず増えるという経済法則は存在しない。実際には、リバウンド効果の強さは市場によって大きく異なる。たとえば水の市場では、効率の向上が全体の消費量の増加につながることが多かったが、自動車の燃費の改善は、総使用量を押し上げることなく、単にコストを下げる傾向がある。
一般的な経済学の問題として、この現象を理解するうえで最も関係の深い概念は代替の弾力性である。重要な問いは、AIが経済の他の財に対して粗代替財なのか、それとも粗補完財なのかということだ。AIが粗代替財であれば、AIの学習コストが下がると、企業は支出のより多くをAIに振り向け、GDPに占めるAIの計算資源への支出の割合は増える。逆にAIが粗補完財であれば、AIのコストが下がると、企業はAIへの支出を全体として減らすことになる。
アルゴリズムの進歩は、AIの学習コストであれ、推論実行でAIを提供するコストであれ、AIの価格の低下と解釈できる。したがって、アルゴリズムの進歩がAIの計算資源への支出を増やすか減らすかを根本的に決めるのは、AIと経済の他の財との間の代替の弾力性である。代替の弾力性が1より大きければ、言い換えればAIが他の経済財の粗代替財であれば、効率が上がると、GDPに占めるAIへの支出全体は減るのではなく増える。
これは結局のところ実証的な問いなので、エネルギー消費との類推に頼るのではなく、データによって決着をつけるべきである。それこそが次節で私が検討することである。
実証データ
アルゴリズムの進歩は、AIのようなソフトウェアが安くなる一つの道筋である。しかし歴史的に見ると、ソフトウェアが安くなってきた最もはっきりした道筋は、計算を行うコストを下げてきたハードウェアの進歩だった。経済学者の William Nordhaus は、1945年から2006年までの間に、インフレ調整後の計算のコストが1兆分の1未満という驚異的な水準まで下がったことを記録している。
計算が劇的に安くなるのと同時に、GDPに占めるコンピュータへの支出の割合は増えた。1959年には、コンピュータが経済に占める割合はごくわずかだったが、2000年までに、計算インフラへの支出はGDPの約1%にまで増えた。
しかし、この傾向はいつまでも続いたわけではない。下のグラフに示すように、2000年のドットコム・バブル崩壊の後、計算インフラへの投資は減少した。過去25年間、コンピュータ産業は経済の他の部分と比べて縮小しており、以前の急拡大の軌道と比べると、絶対額でもわずかな成長しか見られない。
この歴史的なパターンを見ると、一般的なコンピューティングは、普及の最初の数十年間は他の経済活動の粗代替財だったが、今日の経済では粗補完財になったと考えられる。この変化について考えられる説明の一つは、コンピュータ製品の消費者市場が、時間とともに比較的飽和したことである。
例として携帯電話を考えてみよう。携帯電話が存在する前には、消費者がこの技術を取り入れるにつれて、コンピュータ機器への支出が増える大きな余地があった。スマートフォンが新しい機能を取り込んで技術を進めると、この成長は続いた。しかし、ある時点で、普及が行き渡ったことと技術的な限界によって市場が飽和し、携帯電話への消費者支出の伸びは鈍った。言い換えれば、携帯電話がもたらす効用は逓減する。人は一度に1台しか実際には使えないので、2台目を持っても得られる便益はほとんどないのである。
従来のコンピューティング基盤のほとんどが、同じようなパターンをたどる可能性は十分にある。つまり、最初の普及が支出の急速な伸びを生むが、やがて市場が飽和するにつれて需要は安定する。このパターンでも、新しい製品や新しい種類のソフトウェアが登場して、それらが入り込める新しいニッチが開かれれば、長期にわたってコンピュータ産業が大きく成長することはありうる。しかし、こうした新しいニッチが非常に速いペースで生まれるか、並外れた経済的重要性をもつのでない限り、コンピューティングが経済の大きな部分を占めるまでに成長することはないはずである。
では、AIの場合を考えてみよう。歴史的なデータは、現在のディープラーニングの時代に、アルゴリズムの進歩がAIの事前学習コストを急速に下げ、実効計算量を増やしてきたことを示している。同時に、AIシステムの学習と、AIを提供するためのデータセンターの建設の両方に使われるGPUへの投資額も、同じように急速に増えてきた。
この2つの傾向は、AIのアルゴリズムの進歩がAIの計算資源への支出を減らすはずだという考えと真っ向から矛盾する。もしアルゴリズムの進歩にそのような効果があったなら、観察されたアルゴリズムの進歩の大きさからすれば、計算資源への投資は劇的に増えるのではなく、減っていたはずである。実際には減少ではなく、計算資源への支出は3桁を超えて増加した。
アルゴリズムの進歩の後にAIの計算資源への支出全体が増える理由は、主に2つあるように思われる。2つを合わせると、それを説明できる。
- 性能効果：アルゴリズムの進歩は、ある計算量で学習させたモデルに期待される性能を高めるので、通常、より大規模な学習実行の収益性を高める。
- 代替効果：アルゴリズムの進歩によって、人々は通常、そうでなかった場合より多くのAIサービスを、より高い品質で手にできるようになる。AIが生産で他の投入要素、たとえば人間の労働をうまく代替できる場合、AIサービスの購入コストは下がっても、アルゴリズムの進歩は全体としてAIの展開への支出の拡大を促す。
性能効果は、ニューラルスケーリング則によってよく裏づけられている。ニューラルスケーリング則は、機械学習モデルへの投入、とりわけ計算資源を増やすと、モデルの性能が上がると予測する。これにより、AIラボはかつてない規模で学習実行を行うことで、フロンティアモデルの性能を向上させることができる。これは、アルゴリズムの進歩によって、ある性能水準に達するモデルを学習させられる主体の範囲が広がる一方で起きる。後者は「アクセス効果」と呼ばれてきたものである。
注目すべきことに、DeepSeek が V3 モデルで導入した主な技術革新、具体的にはマルチヘッド潜在アテンション、補助損失を使わない負荷分散、共有エキスパートは、かつてない規模でも性能を向上させると予想されている。つまり、主にアクセス効果しか生まないモデル蒸留のような他の手法とは違って、これらの技術革新は強い性能効果を示し、AIラボが計算資源を以前の計画以上に拡大する強い誘因を生む。最大規模の計算量では、これらの技術革新によってこれまでの予想を上回る性能向上が得られ、大規模なスケーリングがさらに魅力的で価値あるものになるからである。
とはいえ、先ほどのコンピューティングのパラダイムについての議論を心に留めておくことは重要である。2000年より前には、コンピュータのハードウェアへの支出の総額も、ハードウェアの進歩とともに増え続けると考えるのが自然に思えた。その考えは数十年分のデータに裏づけられていた。しかし、ドットコム・バブルの崩壊と、その後のコンピュータの普及の停滞を経て、この傾向は逆転し、GDPに占めるコンピューティングの割合は下がり始めた。
この前例を踏まえると、AIについても次のようなシナリオが展開しうる。短期的には、企業が新しいモデルを学習させ、AIを使ったサービスを増え続けるユーザーに広げるにつれて、AIの計算資源への支出は増え続けるだろう。しかしやがて、AIの経済的な効用は飽和に達する。たとえば、ある段階で、ほぼすべての人が日常の作業のために高品質な言語モデルをすでに使えるようになる。その先では、計算資源への追加投資の収穫は急激に逓減するだろう。研究者が半分の計算量でAIシステムを動かす方法を見つけたとしても、主な効果は総計算量を減らすことであり、AIの普及を意味のある形で広げることではない。
AIがこのパターンから抜け出すには、ある重要な点で、従来のコンピュータ製品と根本的に異なっていなければならない。具体的には、現在の市場の広がりをはるかに超えて価値を伸ばせるような、まったく新しい経済的ニッチを開くことができなければならない。そして実際、AIはこの点で確かに特別であると考える十分な根拠があると私は思う。AIには、労働を大規模に自動化する可能性があるからだ。AIが幅広い産業で人間の労働者を代替できるところまで達すれば、その経済的重要性は、従来のコンピューティング基盤のように頭打ちになるのではなく、おそらく途方もなく拡大するだろう。
AIが特異なコンピュータ製品であると考える根拠
現在のAI製品は経済の作業のごく一部にしか役立たないが、今後10年でより汎用的になることで、その経済的重要性が途方もなく大きくなる可能性は十分にある。根本的には、この予想は、この分野で過去10年間にすでに見てきた進歩を単純に外挿することから来ている。10年前と比べて、現在のAIはさまざまな分野で途方もなく有能になっており、狭い性能指標で高い点を取るだけでなく、コンピュータが行える質的な能力の範囲を広げている。
2020年ごろまで、AIは自然言語で筋の通った長い会話をすることが根本的にできなかった。今日では、o1 や R1 のようなAIモデルは、コードの断片を書いたり、数学の問題を解いたり、初歩的な研究を行ったりするだけでなく、ユーザーと雄弁で思慮深く、知識に富んだ議論ができる。画像生成、画像認識、音声のテキスト化、ゲームのプレイでも、同様の画期的な進歩が見られてきた。
現在、AIラボは、実現すれば莫大な経済的価値への扉を開きうる、いくつもの新しい能力の獲得に力を注いでいる。これには、デジタル環境の中で長期間にわたって自律的に行動できるマルチモーダルなAIエージェントや、工場や住宅の環境で幅広い物理的作業をこなせる汎用ロボットの構築が含まれる。どちらかの分野で成功すれば、限られたAIアシスタントというより万能の働き手のように振る舞うAIを作れるようになる。そのようなAIは、今日のチャットボットと比べて少ない監督で、有用なプロジェクトに裏で取り組むことができ、本物のAI労働力を生み出せるようになるだろう。
物理的な体をもたない自律的なデジタルの働き手を作るだけでも、大規模な経済の変革を引き起こすには十分かもしれない。私は以前、非常に保守的な仮定の下でさえ、リモートワークを自動化できるAIはおそらくGDPを2倍以上にすると論じた。これが10年の間に起きれば、近年の米国で見られたよりも速い経済成長率につながるだろう。さらに外挿して、ラボがAGI、つまりデジタルと物理の両方のあらゆる労働作業で人間の労働者を代替できる技術の創出に成功すれば、その帰結はさらに深いものになる。信頼できる経済分析は、GDPが年30%を超えて成長しうることを示している。
もちろん、AGIがすぐに到来する保証はない。AIラボが近い将来にこうした節目に到達する可能性は、過去10年間にAIで見てきた急速な進歩を維持できるかどうかに大きく左右される。それでも、これまで観察してきた改善の速度がしばらく続きうると考える理由はいくつかある。
この予想の最も基本的な根拠はおそらく、過去10年間のAIの進歩の大部分が、単に計算資源の予算を増やすことによってもたらされてきたように見える、という観察だろう。前述のとおり、ニューラルスケーリング則はフロンティアモデルの性能を押し上げられることを示しており、開発者がますます大きな規模へと拡大するにつれて、新しい能力が現れてきた。このパターンは、事前学習による改善、事後学習による強化、そして最近では長い推論の連鎖を使ったテスト時のスケーリングなど、複数の領域ではっきり見られてきた。
Epoch AI の同僚による計算資源の拡大を妨げうるボトルネックの分析によれば、少なくとも、拡大を続けるのに必要なインフラに投資家が資金を出す意思があるなら、これまでの計算資源の拡大速度はおそらく少なくとも2030年まで維持できる。この分析が正しければ、AI製品が必要な投資を正当化できるほど商業的に成功する限り、この分野では今後何年も急速な進歩が続くかもしれない。アルゴリズムの改善は性能効果によってフロンティアモデルの能力を高められるので、ラボがさらなる資金を確保するのに必要な突破口を開くうえで、鍵となる要因になるかもしれない。
もしAIラボが実際にAGIを実現すれば、企業には、計算資源への支出を少なくとも現在人間の賃金に費やしている水準に匹敵するところまで増やす、強い経済的な誘因が生まれるだろう。AGIは企業がすでに雇っている人間の労働を直接代替するので、賃金への支出をAIサービスに振り向けることが合理的になるからである。この場合、計算資源への支出は、GDPに占める労働分配率、つまり経済の産出のうち労働者の報酬に費やされる割合に、おおよそ匹敵するところまで増えうる。
参考までに、米国のGDPに占める労働分配率は現在約60%であるのに対し、今日、すべての計算ハードウェアへの支出はGDPの約0.6%にすぎない。計算資源への支出が労働分配率に匹敵するところまで増えれば、100倍の増加になる。この変化は、経済成長全体の巨大な急伸と同時に起こりうるので、2つの要因が組み合わさって、実質的な計算資源への支出は劇的で前例のない増加を遂げるだろう。アルゴリズムの進歩はこの予測を損なうどころか、AI開発者が高度なAIの能力を、そうでなかった場合より早く市場に送り出せるようにすることで、その実現に大きく寄与するだろう。
結論
アルゴリズムが改善するにつれて計算資源への支出が減るという予想は、AIはすでにおおむね完成した製品であり、今後の主な課題は既存のAIツールへのアクセスを広げることにすぎないと考えるなら、理にかなっている。たとえば、ディープラーニングが壁にぶつかりつつあり、AIの開発は既存のチャットボットとほぼ同じ水準で行き詰まると考えるなら、アルゴリズムの進歩が続いても、その主な役割はチャットボットの生産を安くすることになる。チャットボットの市場が飽和するにつれて、計算資源への支出の総額は自然に減っていくだろう。
しかし、AI開発の次の大きな一歩が、さまざまな形態の人間の労働を自動化できるシステムを作ることだと考えるなら、計算資源への支出が増える余地ははるかに大きい。この見方は、過去10年間のAI開発によって裏づけられている。この期間、スケーリング則に導かれて、AIシステムはまったく新しい質的な能力を獲得し、AIがこなせる作業の範囲は広がり続けた。その間ずっと、アルゴリズムの進歩がAIモデルの学習と展開のコストを大きく下げる一方で、AIの計算資源への支出は急増した。
計算資源への支出が劇的に増えるという予想は、結局のところ、過去10年間のはっきりした傾向と一致している。効率の向上がコストを下げても、AIの能力が広がるにつれて、計算資源への需要も広がってきた。さらなるアルゴリズムの進歩が計算資源の拡大と組み合わさって、AI開発者が新しく有用なAIの能力を引き出し続けられるなら、計算資源への支出は縮小するのではなく拡大すると予想する強い理由がある。