私の自然主義への目覚め

❦

前回、エリエゼル₂₀₀₁は真実に対して、後退しながら抵抗していた。信念を少しずつしか変えず、別の筋書きに割り当てる確率を上げながらも、「以前の自分は間違っていた」とは決してはっきり言わない。戦略に難点を突きつけられるたびに修繕し、それまで進めていたまったく同じ計画に、新しい正当化を見つけるのだ。

（だから、こう言われる。「証拠に対して後退戦をしてはならない。やむをえなくなって初めて、だまされた気分で、不承不承一歩ずつ土地を明け渡すようなことはするな。できるだけ早く真実に降伏せよ。自分が何に抵抗しているか気づいた瞬間に、どちらから証拠の風が逆らって吹いているか見えた瞬間に、そうせよ」。）

記憶は薄れ、あのころを振り返るのはほとんど耐えがたい。いや、本当に、昔の自分の文章を読むのは耐えられない。当時を知る人たちから、記憶違いをすでに一度指摘された。だから、重要な出来事は覚えていても、何年だったかはもちろん、どんな順序で起きたかも、確かにはわからない。

それでも、自分の愚かさが打ち破られた瞬間を選ぶなら、最適化過程という概念を、完全に一般的な形で初めて理解した瞬間を選ぶ。そのとき初めて、私は振り返って、「自分は愚かだった」と言ったのだ。

その前の2002年、私は、人間の汎用知能の進化心理学について少し書いていた。当時の自分ではAIについて書いているつもりだったが。この時点で私は、人間を投影した知能には反対のつもりでいながら、なお人間の脳に発想を求めていた。（その論文は「汎用知能における組織化の階層」で、書籍Artificial General Intelligenceへの依頼原稿だった。1本がようやく刊行されたのは2007年である。）

だから私は、自然選択がどうやって人間の知能を生み出したかを考え、書いていた。両者の間には二分法を見ていた。自然選択の盲目さと、知能による先読み。模擬して推論することと、現実にすべてを試すこと。抽象的な思考と、具体的な思考。それでも、人間の知能を作ったのは自然選択だ。だから私たちの脳は、思考そのものとは違い、全面的に自然選択の特徴に沿って作られている。

今でもこれは、かなり衝撃的な洞察に思える。だから、自然選択と知能で動く過程をまとめて「進化的」と呼ぶ人がいると、ひどくいらだつ。本当に、重要ないくつもの点で、両者はほとんどまったく違うのだ。とはいえ、結果主義や領域をまたぐ汎用性のように、両者の記述に使える共通概念はある。

だが、エリエゼル₂₀₀₂が進化と知能を二分法で考えていること自体、彼の視野の限界を物語る。政治を保守とリベラルの二分法で捉えたり、果物をリンゴとイチゴの二分法で捉えたりする人のようなものだ。

「組織化の階層」の草稿がオンラインで公開されたあと、エミル・ギリアムは、私のAI観が私の知能観とかなり似ているようだと指摘した。もちろんエリエゼル₂₀₀₂は、人間の心をそのまま写してAIを作ろうと主張してはいない。エリエゼル₂₀₀₂は、人間の心は自然選択が生み落とした継ぎはぎにすぎないと、よく知っている。だがエリエゼル₂₀₀₂は、人間の思考の組織化の階層を記述しながら、AIでは違う階層を使うことを提案していなかった。ギリアムは、人間の路線に沿いすぎているかもしれないと思わないか、と尋ねた。私はその別案を「完全に異質な心の設計（Completely Alien Mind Design）」、CAMDと名づけ、理論上可能でも、おそらく人間の技術者には難しすぎると答えた。組み立てる最中に、そこまで異質なものを理解できないだろうから、と。

この答えをエリエゼル₂₀₀₂が自分で考えたのか、それともどこかで読んだのかはわからない。言うまでもなく、その後この言い訳は何度も聞いた。実際には、本当に理解したものは、何らかの構造上の本質を中に残しながら、たいていほとんどどんな形にも組み替えられる。だが飛行を理解していないと、鳥との類推から離れることを想像できず、飛行機械には羽が必要だと思ってしまう。

つまり、ある意味でエリエゼル₂₀₀₂は、まだ人間らしい心の設計に執着していた。それを改良することは想像するが、人間の構造は、なおある意味で出発点だったのだ。

では、ついにこの執着を打ち破ったものは何だったのか。

告白するのは恥ずかしいが、書こうとしていたSF小説だった。（いや、見せられない。まだ完成していないからだ。）その物語には、認知でも進化でもない、結果ポンプのような最適化過程が登場した。知能ではなく、時間をまたぐ物理的な作用、少なくとも物理的な作用として想像していたものが、可能な結果の空間を狭く制約する。（これ以上は言えない。いつか物語を書き上げたとき、ネタばれになってしまう。結果ポンプのエッセイを見てほしい。）「ただの物語」だったので、私は自由にその考えをいじり、論理的に展開できた。Cが起きるよう制約されている。したがって、過去のBも起きるよう制約される。したがって、BにつながるAも起きるよう制約される。

一点だけを通る線を引くのは危険だと、普通は考えられている。二点あれば二分法になり、両者が対立すると考える。だが異なる点が三つあれば、そのときこそ、目を覚まして一般化せざるをえなくなる。

今、私には三つの点があった。人間の知能、自然選択、そして自分の物語の仕掛けだ。

だからそのとき、私は最適化過程という概念を一般化した。未来を、可能性の中の狭い領域へと押し込む過程という概念を。

ずっとOvercoming Biasを読んできたなら、これは当然に思えるかもしれない。だが、シェーン・レッグが集めた知能の71の定義を見れば、「未来を制約された領域へ押し込む」は、思うほど自明な答えではないとわかるだろう。

AI研究者の「知能」の定義の多くは、確かに「問題を解く」「目標を達成する」と言う。だが、少なくとも過去のエリエゼルたちの視点からすれば、それを「未来を押し込む」のと同じことにするのは、後知恵にすぎない。

目標は心を前提とする対象だ。電子には目標がなく、問題を解くこともない。目標を想像する人間は、欲する性質を備えた行為者を想像する。これは依然として共感に基づく言葉遣いなのだ。

知能は「目標を達成する」ことだと主張しておきながら、その直後に、ある「目標」は別の目標より優れているかを議論したり、目標自体を評価する知恵について語ったり、自らの目標を意図的に変更する系について語ったりできる。目標を達成する計画を選ぶのに必要な自由意志についても、自分の目標はプログラマーの本当の意図ではないと気づくAIについても語れる。だが、結果ポンプのように、未来を可能性の中の狭い領域へ押し込むものを思い描くと、それらの一見もっともらしい発言は、どうも当てはまらなくなる。

だから少なくとも私にとって、「心」という言葉の向こうに、自然に動作し、物理法則に従うだけで、未来を狭い領域へ押し込んでしまう物理的な過程を見ることは、目標達成を目指す行為者という概念を超える、自然主義的な悟りだった。

深い穴から外へ落ち、普通の世界へ落ちてきたようだった。張りつめていた認知上の緊張が、無理のない単純さへとほどけ、混乱が煙になって漂い去った。私は、知能が果たす仕事を見た。賢さは、もはや性質ではなくエンジンだった。時間の結び目のように、宇宙の外側の部分を内側に映し、それによって宇宙の進路を変える。同じ悟りのひらめきの中で、心は熱力学の法則に従うために廃熱を出さなければならないことまで見えた。

それ以前、エリエゼル₂₀₀₁は友好的AIについて、念のためにそうしておくべきものとして語っていた。AIの設計Xが友好的になるかわからないなら、友好的になるとわかっている設計Yを選ぶべきだ、と。だがエリエゼル₂₀₀₁は、自分の未来光円錐をペーパークリップに変える超知能が実際にありうるのか、知っているとは思っていなかった。

だが今は、それが見えた。最適化過程の脈動。感覚情報が流れ込み、運動指令が流れ出し、未来を操る。中央には、可能な行動と可能な結果を結ぶモデルと、結果に対する効用関数がある。対応する効用関数を入れれば、未来をどこへでも操る最適化主体が生まれる。

そのときまで、私は、エリエゼル₁₉₉₇のAI目標系の設計が、間違いなく、他の解釈の余地なく、無意味に人類を絶滅させることになると、自分に十分認めてはいなかった。だが今、振り返ると、そもそも論じられる程度に首尾一貫している範囲で、昔の設計が本当は何をするのか、ようやく見えた。大ざっぱに言えば、未来光円錐を汎用の道具に変えていただろう。実行するプログラムのないコンピューター、使い道のない蓄積エネルギー……。

……立派で熟練した合理主義者であるこの私が、いったいどうやって、あれほど明白なことを、忌々しいことに六年もの間、見落としていられたのか。

そのとき私は、頭の冴えた状態で目覚め、思い出した。そして、いくらか恥ずかしく思いながら考えた。自分は愚かだった。