AI未来論の議論に欠けている半分

部屋の中のダイソン球

AIをめぐる議論を追っていれば、いずれ必ず次のような主張に何らかの形で出くわす。AI研究を自動化してから数年のうちに、世界は見る影もなく変わる。ナノテクノロジー、ダイソン・スウォーム、光速に近い宇宙船が登場する、というものだ。たとえば Ajeya Cotra は次のように論じている。

「人間を超える膨大な数のAIエージェントは、さらに強力な後継を開発することも含め、人間が自力でできるよりも格段に速く新しい技術をおそらく発明するだろう。この過程が始まって1〜2年もすれば、急速に進化するAI文明は、光速に近い宇宙船や分子ナノテクノロジーのような、まさにSFの技術をおそらく開発するだろう。」

これほど大胆な主張はどこから来るのか。大まかに見れば、議論は二つの部分からなる。第一に、AI研究がすべて自動化されると、AIはごく短期間で途方もなく賢くなり、現代の人間の専門家をはるかに置き去りにする。私たちはこれに関連する実証的な研究を自ら行い、（他者の研究も）読んできた。私たちの見る限り、これは実際かなりありうることだ。少なくとも、ボトルネックがそれを防げるほど強いとははっきりとは思えない。

議論の第二の部分は、こうした超有能なAIが十分な数そろえば、まさにSFのような技術を2、3年で作れる、というものだ。言い換えれば、技術がとてつもなく進歩するのを妨げている主なボトルネックは、本当に腕の立つ働き手が足りないことにすぎない、ということになる。だが、それは本当なのだろうか。

確かなことは分からない。だが、AIがほぼ何でもできるのでない限り、未来的な技術が実現するまでの期間は、その技術を開発するのがどれほど難しいかにかなり左右されるだろう。誰であろうと、斧より核兵器を開発するほうがおそらくはるかに難しい。それなのに、ダイソン球、ナノテクノロジー、超生物兵器を作るのがいったいどれほど難しいのかを詰めて考える人はめったにいない。これがAI未来論の議論に欠けている半分である。私たちはAIがどれほど優秀になりうるかを真剣に考えてきたが、個々の技術を開発するのがどれほど難しいかは考えてこなかった。

では、どうすべきか。私たちの答えはこうだ。次の3段階の手順にもとづく新しい研究の方向に、一部の人が取り組むべきである。

1. 特定の技術を一つ選び、具体的に定義する。たとえば自己複製する恒星間探査機である。新しい恒星系に着陸し、現地の材料から自分の複製を作り、その複製を光速のかなりの割合の速さで次へ送り出せる機械だ。
2. AIについていくつか仮定を置く。たとえば、AIは「リモートワーカーをそのまま置き換えられる」ほどの能力をもち、実行にはH100 GPU 1基分の計算資源を要する、と仮定できる。あるいは、AIの働き手が何体いるか、どれだけの速さで動かせるか、どんな物理的なアクチュエーターを使えるか、などなどを指定してもよい。
3. そのAIがその技術を開発するのにどれだけの時間がかかるか、あるいはどんな資源が必要かを見積もる。

念のため言っておくと、これは誰もが考えるべきことではない。ただ、今はほとんど誰も考えていない。そして知能爆発が本当に起こりうるのなら（しかも数年以内に起こるかもしれないのなら）、私たちはおそらくもう少し本気で取り組むべきだろう。

では、反論に答えていこう。

Epoch AI の最新情報を受け取る 購読する

反論1：それはもう誰かがやったのでは？

超知能が現実世界に与える影響のボトルネックについて考えてきた人がいるのは確かだ。だがその多くは、私たちが思い描いているやり方では考えていない。

たとえば一部の人は（私たちも含め）、AIが技術に与える影響を経済指標で考えたがる。典型的なのは、AGIがGDP成長にどう影響するかを問うことだ。成長が10倍に加速すれば、1世紀分の技術の進歩を10年に圧縮するようなものになる。問題は、GDPのような指標が、私たちが関心をもつもの、たとえば特に重要な個々の技術が実現するまでの期間の代理指標としては不十分かもしれないことだ。¹たとえば、AGIが世界のGDPを100倍にしたら、人類は星々へ広がっているだろうか。脳をアップロードできるようになるだろうか。AIは生物兵器や分子ナノテクノロジーを開発して世界を乗っ取れるだろうか。こうした問いは人類の幸福にとってきわめて重要だが、GDPから推し量るのは難しいこともある（それどころか、GDPとはほとんど無関係なこともある）。

また、ショウジョウバエの個体数が数日で倍増しうるといった生物系の成長率を見て、物理世界がどれほど速く変わりうるかを考えた人もいる。物理的なものが超高速で倍増しうるという存在証明としては結構だが、このたとえが本当にAIに当てはまるかは誰にも分からない。それだけでは弱い証拠であり、どの参照クラスを使うかの水掛け論に陥りやすい。

私たちが念頭に置いているものに最も近いのは、探索的工学（別名科学的ロードマッピング）の文献である。これは、ナノテクノロジー、神経活動の記録、位置制御化学、脳のエミュレーションなどの未来の技術に向けて、詳細でありうる工学的な道筋を考え出すものだ。印象的な例が、先に触れた自己複製する探査機について Armstrong と Sandberg が行ったことである。彼らは1980年代に発表された探査機の設計²と、惑星を解体する手順を取り上げ、物理を一つずつ検討して、人類は数十年のうちに、到達可能な宇宙全体を植民するプロジェクトを始められるようになると論じた！

こうした考え方と私たちの提案との違いは、一部の人に、AIについての明示的な仮定を組み込んだ探索的工学をやってほしいという点にある。人間の能力に匹敵し、人間の速さで働くAIの大軍がいれば、ナノテクノロジーはどれだけ早く手に入るのか。AIが100倍速く働いたらどうなるのか。

これを公開の場で行った例として私たちが思いつくのは一つしかない。Damon Binder のAGI後のエネルギー生産についての研究である。彼は、ロボットの労働力が豊富にある経済が建設できる最小限の太陽光発電システムを設計し、それが数週間の単位で倍増しうることを見いだした。私たちが大まかに思い描いているのは、これと同様の分析で、未来のAIについての仮定をさらに重視し、仮定を変えると結論がどう変わるかを調べるものである。

反論2：未来は不確かすぎるので、そんなことをしても役に立つことは何も分からない

別の形の反発として、「探索的工学なんて、うまくいったためしのない手口だ」と言う人もいるだろう。だが私たちはそうは思わない。実際にうまくいった例があるからだ！　いくつか挙げよう。

• ロケット：1903年、Konstantin Tsiolkovsky は、ロケットは宇宙旅行に必要な速度を出せると論じた。最初のロケットが宇宙空間に到達するまるまる41年前のことだ。³要するに彼は、ロケットの運動を表す方程式を導き、液体燃料（液体水素と液体酸素など）ならロケットから十分な速さで噴出し、地球の重力から脱出する助けになると計算した。対照的に、火薬のような固体燃料では足りないとした。
• 人工衛星：Arthur C. Clarke は、人工衛星を使って世界中に確実に情報を伝えることについて、時代を約19年先取りしていた。そのアイデアは、赤道上空の決まった位置に3基の衛星を置き、それらが協力してラジオ、テレビ、電話の信号などをほぼ全世界をカバーして中継する、というものだった。

だからといって、未来が確実だというわけではない。ここでの例は私たちの主張を示すために選んだものであり、この種の未来予測の失敗例をすべて何らかの方法で見渡せたら、状況ははるかに暗く見えるかもしれない。だが悲観しすぎるべきでもない。未来学者の予測の実績を見ると、実のところそれほど悪くはない。しかも、私たちが話している作業はある意味でもっと易しい。ある未来的な技術がいつ実現するかを正確に言うことよりも、十分な資源があればそこに至るありうる工学的な道筋があると示すことに重きがあるからだ。

反論3：でも、超知能をモデル化するのは本当に難しい！

最後の種類の反論は、「超知能がどんな姿になるかも分からないのに、その影響がどうして分かるのか」といったものだ。超知能の能力は、予測しにくい形でいびつに尖っているかもしれない。あるいは、私たち人間にはとうてい理解できない、恐ろしく頭の切れる行動をとるかもしれない。それは、チェスの初心者がグランドマスターの手を予測しようとするようなものだろう。

これには一理ある。だが、超知能がどんな姿になるかが正確には分からないからといって、それについて有用な知見が得られないわけではない。たとえば、ほぼすべての認知タスクで、それぞれが少なくとも人間のトップクラスの専門家と同等にこなせるAIが10億体いるとしよう。⁴このAIたちが数年以内に分子ナノテクノロジーを作れると示せたなら、はるかに賢いAIが10億体いれば、それをどうモデル化すればよいか分からなくても、きっと同じことができるはずだ。逆に、このAIたちにはおそらくそれができないと示せたなら、少なくとも争点を特定する助けになり、議論をより具体的なAIの能力に絞り込める。

実は、AI未来論をめぐる既存の議論はすでにこれを行っている。超知能がどんな姿になるかは正確には分からないが、AIが人間の能力に匹敵するだけだとしたら世界のGDPに何が起こるかを問うことはできる。高度なAIが世界のGDPの年30%超の成長をもたらしうるという議論は、多くの場合このようにして組み立てられている。つまり、この種のモデルや議論は、爆発的な経済成長について考えるうえですでに有用だと実証されているのだ。

さらに言えば、爆発的成長についてのこうした影響力のある分析は、ほんの数人によって行われた。この記事で本当に言いたいのは、「AGI後の、影響の大きい特定の技術について、もっと多くの人がこの種の分析をすべきだ」ということである。そして、もしこうした研究に関心があるなら、この機会にぜひ飛びついてほしい。ダイソン球の建造について考えることが本当に役に立つ、唯一の場面かもしれないのだから。

この小論で述べたような研究に関心がある方は、js@epoch.ai までご連絡いただきたい。