❦
人々は私に尋ねる。「人工知能はどんなものになりますか？ 何をしますか？ 未来について、あなたの驚くべき物語を聞かせてください」
見よ、私は彼らにこう告げる。「あなたは引っかけ問題を尋ねた」
ATP合成酵素は分子機械である。進化が自由回転する車輪を発明したことが分かっている三つの事例の一つであり、動物のミトコンドリア、植物の葉緑体、細菌で、本質的に同じものだ。ATP合成酵素は、二十億年前に真核生物が出現して以来、大きく変化していない。それは私たち全員に共通する。進化が特定の遺伝子を強く保存する仕組みのおかげだ。いったん多数のほかの遺伝子が一つの遺伝子に依存すると、突然変異は、その依存関係をすべて壊す傾向がある。
任意の二つのAI設計は、あなたとペチュニアほどにも似ていないかもしれない。「AI」が何をするかという問いは、すべてのAIが一つの自然類をなすことを含意するので、引っかけ問題である。人間は全員、同じ脳のアーキテクチャを共有するため、自然類をなす。だが「人工知能」と言うときに指しているのは、「人間」と言うときより、はるかに広い可能性の空間である。「AI」について語るとき、実際には心一般、あるいは最適化過程一般について語っている。「AI」という語を持つことは、アヒルでないすべてのものを指す語を持つようなものだ。
心の設計空間を地図として想像しよう……これは私の定番の図の一つだ……。
当然、人間は全員、ほんの小さな一点の中に収まる。有性生殖する種である以上、互いにあまり違ってはいられない。
この小さな点は、もっと広い楕円、トランスヒューマンの心の設計空間に属する。そこにあるのは、私たちより賢いか、はるかに賢いかもしれないが、何らかの意味で、なお私たちが人と理解するものである心だ。
このトランスヒューマンの楕円は、さらに広い体積、ポストヒューマンの心の空間の中にある。トランスヒューマンが成長してなりうる、あらゆるものである。
そして球の残りが、心一般の空間である。そこには、あまりに奇妙でポストヒューマンですらない、可能な人工知能も含まれる。
だが待ってほしい——自然選択は複雑な人工物を設計し、複雑な戦略の中から選ぶ。ならば、この地図のどこに自然選択がある？
実のところ、この地図全体は、さらに広大な空間、最適化過程の空間の中に浮かんでいる。この広大な空間の底、人間よりさらに下には、どこかの潮だまりで始まったばかりの自然選択がある。突然変異し、複製し、ときには死ぬ。有性生殖はない。
人類文明、あるいは自己改善するAIにも匹敵する強さを持ちながら、心とは認識されない強力な最適化過程はあるだろうか？ マーカス・ハッターのAIXIは、この種類に置くべきだと主張できる。無限の力を持つ心にしては、ひどく愚かだ。かわいそうに、鏡に映った自分さえ認識できない。だが、それは別の機会の話題である。
私が最も伝えたい教訓は、心の設計空間全体について一般化する誘惑に抵抗せよ、ということだ。
一兆ビット以下で構成を指定できる心をすべて含む、心の設計空間の有界な部分空間に焦点を絞っても、あなたが行う普遍的な一般化の一つ一つには、2の一兆乗通りの反例候補がある。
逆に、存在的な一般化——「Xである心が少なくとも一つ存在する」——の一つ一つには、2の一兆乗通りの真になる候補がある。
だから、すべての心が何かをすると言う誘惑にも、いかなる心も何かをしないと言う誘惑にも、抵抗したい。
完全に一般的な心が何をする（しない）かを知っていると思ってしまう最大の理由は、その心の立場に自分を置き——自分ならその心の立場で何をするかを想像し——概して間違った擬人的な答えを得ることだろう。（もっとも、あなた自身が一つの例なので、少なくとも一つの事例では真である。）あるいは、何かをする心を想像したあと、自分ならそれをしない理由を想像する。その結果、そういう種類の心は存在できない、機械の中の幽霊が対応するソースコードに目を通し、差し戻すだろう、と想像する。
心の設計空間のどこかには、あなたが想像したいと思う、論理的に整合するほとんどあらゆる種類の性質を持つ心が、少なくとも一つある。
これが重要なのは、心を構成する特定の構造の因果的な結果として、何が法則に従って起きるのか、そしてなぜなのかを論じる重要性を強調するからだ。心の設計空間のどこかには、それとは違うやり方をする心がある。
もちろん、あなたのやり方をしないものは何であれ、「定義上」心ではない、と言うことはいつでもできる。なにしろ、それは明らかに愚かだ。この手を試す人も見てきた。