2030年のAIはどのような姿になるか？

はじめに

AIのスケーリングが2030年まで続いたら、何が起きるだろうか。このスケールアップが計算資源、投資、データ、ハードウェア、エネルギーの面で何を伴うのかを検討したレポートを公開する。さらに、このスケーリングによって可能になる将来のAIの能力についても、特に主要なAI開発者が重点を置いている科学研究開発の分野を中心に検討する。AIのスケーリングは、前例のないインフラを必要とするものの、2030年まで続く可能性が高く、科学をはじめとする幅広い分野に変革をもたらす能力を生み出すだろう、というのが私たちの主張である。

スケーリングは2030年まで続く可能性が高い：現在のトレンドが続けば、2030年のフロンティアAIモデルには数千億ドルの投資と、ギガワット級の電力が必要になる。これらは手ごわい課題だが、乗り越えられないものではない。AIが生産性を高めることで見合った経済的リターンを生み出せるなら、こうした投資は正当化される。AI研究所の売上高が現在のペースで伸び続ければ、スケーリングへの数千億ドル規模の投資を正当化するリターンが生まれるだろう。

スケーリングは価値あるAIの能力をもたらす：2030年までに、AIは自然言語から複雑な科学ソフトウェアを実装し、数学者が証明の概略を形式化するのを手伝い、生物学のプロトコルに関する自由回答形式の質問に答えられるようになるだろう。これらの例はすべて、進歩が見られる既存のAIベンチマークから取ったもので、単純に外挿すると2030年までに解かれることが示唆される。AIの能力はいくつもの科学分野に変革をもたらすと予想しているが、それが十分に効果を発揮する形で展開されるのは2030年より後になるかもしれない。

以下では、レポートの結果のいくつかを紹介する。

スケーリングは2030年まで続く可能性が高い

現在のトレンドが続けば、フロンティアAIの学習に使われるクラスターの費用は、2030年までに1,000億ドルを超える。そうしたクラスターでは約 10^29 FLOP の学習実行が可能になる。これは、2020年時点で最大のAIクラスターを3,000年以上連続で稼働させなければ得られなかった計算量である。こうしたクラスターで学習したAIモデルは、GPT-4 の数千倍の計算量を使い、ギガワット級の電力を必要とするだろう。

これは、私たちの研究結果に繰り返し現れるパターンの一例である。今日のトレンドが続けば、極端な結果に行き着く。では、トレンドは続くと考えるべきだろうか。過去10年間、外挿は強力な基準となる予測であり続けてきた。そして、近いうちに減速するという議論を調べてみても、説得力に欠けることが多い。

以下に、そうした議論のいくつかと、レポートでの私たちの結論をまとめる。

• スケーリングが「壁にぶつかる」可能性がある。つまり、さらにスケールさせてもAIシステムが向上しなくなるかもしれない。しかし最近のAIモデルは、ベンチマークでも売上高でも大きく向上している。そうなる可能性はあるが、まだそのはっきりした証拠はない。

• 学習用データの蓄えが尽きるかもしれない。しかし、少なくとも2027年まではスケールできるだけの、人間が生成した公開テキストがある。また、合成データは大量に生成でき、推論モデルが登場してからはその有用性もより確かになっている。データのボトルネックを完全に排除するのは難しいが、乗り越えられるものだと思われる。

• スケーリングが電力によって妨げられる可能性がある。スケーリングが続けば、フロンティアの学習実行には2030年までにギガワット級の電力が必要になる。これを供給するのは難しいが、太陽光発電と蓄電池、あるいは送電網から独立したガス発電など、電力供給を急速に拡大する方法はある。さらに、フロンティアAIの学習実行はすでに複数のデータセンターに地理的に分散され始めており、これによって課題は和らぐだろう。電力が2028年より前にボトルネックになる可能性は低く、その後も解決できると思われる。

• スケーリングの費用が高くなりすぎ、AI開発者が投資をやめる可能性がある。これは確かにありうるが、今のところその兆候はほとんどない。AI開発者の売上高が最近のトレンドどおりに伸び続ければ、2030年のフロンティアの学習について私たちが外挿した1,000億ドル超の投資に見合う規模になるだろう。AIの売上高が数千億ドルに達するというのは極端に思えるかもしれないが、AIが業務タスクのかなりの部分で生産性を高められるなら、数兆ドルの価値がありうる。

• AI開発の重点が、より効率的なアルゴリズムに移る可能性がある。しかし、アルゴリズムの効率は、既存の計算資源の成長の中ですでに向上し続けてきた。アルゴリズムの進歩が加速すると予想する特段の理由はなく、仮に加速したとしても、それはおそらくより多くの計算資源を使う動機になるだろう。

• AI企業が計算資源を推論実行に振り向ける可能性がある。たとえば推論モデルやその他の製品を動かすためである。しかし現在、学習と推論実行には同程度の計算資源が割り当てられており、学習と推論実行はともにスケールするはずだと予想する理由がある。学習をスケールさせればより良いAIモデルが生まれ、そのモデルはより価値の高い推論実行のタスクを、より安価にこなせるようになる。推論実行への移行は起きるかもしれないが、推論実行のスケールアップが学習のスケーリングを減速させる可能性は低いと思われる。

以上を踏まえると、現在のトレンドを2030年まで外挿することは、強力な基準となる予測だと考えている。そしてトレンドが続くなら、AIの能力も外挿できる。それを次に論じる。

AIはいくつもの分野で科学研究開発を加速させる

レポートでは、AIがどのように生産性を高めうるかの具体例も検討している。取り上げるのは科学研究開発で、これは主要なAI開発者の何社かが重点分野として掲げているものである。¹能力のトレンドからは、科学研究開発向けのAIがとてつもなく進歩することが示唆される。特に、ソフトウェア工学や数学のように、現実的なタスクで完全にコンピュータ上だけで学習できる分野ではそうである。既存のベンチマークでの進歩からは、2030年までに、AIが自然言語から複雑な科学ソフトウェアを実装し、数学者が証明の概略を形式化するのを手伝い、生物学のプロトコルに関する複雑な質問に答えられるようになることが示唆される。

2030年までに、多くの科学分野で、今日のソフトウェアエンジニアにとってのコーディングアシスタントに匹敵するAIアシスタントが登場すると予測する。ソフトウェア工学との違いもあるだろう。たとえば、既存のAIコーディングツールは主に単一のプロジェクトという文脈に限られているのに対し、科学分野では大量の雑多な文献を精査し統合することにより重点が置かれる。それでも重要な共通点はある。文脈に応じて提案を示すこと、関連する情報を見つけること、小さく範囲の決まったタスクを最後までこなすことである。

ソフトウェア工学の例をもとに、これは最終的にタスク内で10〜20%の生産性向上につながると予測する。²数学者や理論生物学者の業務タスクがソフトウェアエンジニアより自動化しにくいとしても、関連するベンチマークが向上しているという証拠はすでにあり、今後も何年にもわたって進歩が続くと見込んでいる。AIの能力はいくつもの科学分野に変革をもたらすと予想しているが、それが十分に効果を発揮する形で展開されるのは2030年より後になるかもしれない。

以下では、レポートから4つの例を紹介する。ソフトウェア工学、数学、分子生物学、天気予報である。選んだベンチマークで各分野の課題の全体像を捉えることはできないが、AIの能力の高まりと、近く自動化されうるタスクについて手がかりを与えてくれる。スコアはリーダーボードとモデルカードから集め、当てはめは最高性能のモデルに限定している。

ソフトウェア工学：AIはすでに、コードアシスタントや質問応答という形でソフトウェア工学を変えつつある。現在のトレンドが続けば、2030年までにAIは自律的に課題を修正し、機能を実装し、難しい（ただし明確に定義された）科学プログラミングの問題を解けるようになるだろう。

数学：AIは近いうちに研究アシスタントとして、証明の概略や直観に肉付けするようになるかもしれない。AIが数学者の仕事の役に立っていることは、初期の報告ですでに記録されている。著名な数学者の間でも、既存の数学AIベンチマークが自分の仕事にどれほど関係するかについての考えは大きく異なる。AIがアシスタントとしてではなく自律的に数学的成果を生み出せるようになる時期の予測も同様である。

分子生物学：PoseBusters のようなタンパク質とリガンドの相互作用の公開ベンチマークは、今後数年のうちに解かれる見通しである。ただし、任意のタンパク質間相互作用の予測については、それより時間がかかる（そして不確実である）。一方で、生物学の研究開発のための、机上調査を担うAIアシスタントが登場しつつある。既存の生物学のプロトコルに関する質問応答のベンチマークは、2030年までに解かれるはずである。これらのベンチマークは分子生物学の課題の全体像を表すものではないが、そのトレンドから、この分野でのAIの能力の高まりを具体的にうかがうことができる。

天気予報：AIによる天気予報は、数時間から数週間先までの予報で、すでに従来の手法を上回ることができる。さらに、AIの手法は実行の費用対効果が高く、データが増えればさらに改善しうる。次の課題は、既存の予報、特にまれな事象の予報を改善すること、そして改善された予報を活用して広く社会に利益をもたらすことである。

この研究に繰り返し現れるテーマは、実際の展開と社会への影響が能力に大きく遅れる可能性があるということである。たとえば、ソフトウェア工学は医薬品の研究開発と比べて反復のサイクルが短く、ウェットラボの実験や臨床試験を必要としない。安全性が決定的に重要なシステムに関わることもまれで、おおよその正しさを確かめやすいことが多く、学習データも豊富である。こうした理由から、2030年までに販売承認される医薬品のうち、今日のAIツールの恩恵を受けたものは、あったとしてもごくわずかだろうと予想している。2030年のAIツールの恩恵を受けたものとなれば、なおさらである。ただし、その頃には初期段階の開発ではAIの影響が大きく表れている可能性が高い。それに比べて、ソフトウェア工学は劇的に変わっているだろうし、科学研究開発向け、さらにはより広い用途向けのソフトウェアが花開いているだろうと予想している。³

結論

2030年までに、AIは経済全体にわたる鍵となる技術になり、人々がコンピュータやモバイル機器とやり取りするあらゆる場面に存在するようになる可能性が高い。これらの予測が現実になるなら、主要な意思決定者が今後5年間、そしてその先へと舵取りをするなかで、AIの問題を優先することがきわめて重要である。

詳しくは、こちらからレポートの全文をお読みいただきたい。