私の自然主義的覚醒

❦

前回、エリエザー₂₀₀₁は真実に抗う後衛戦を戦っていた。信念を少しずつ変え、別の筋書きが正しい確率を徐々に高く認めながらも、「以前の私は間違っていた」とは決して明言しない。戦略が難題に直面するたびに修復し、以前追い求めていたのとまったく同じ計画に、新しい正当化を見つけていく。

（それゆえ、こう言われる。「証拠を相手に後衛戦を戦いながら撤退し、強いられたときにだけ一歩ずつ、不当な目に遭ったと感じながら、しぶしぶ陣地を明け渡すことのないよう用心せよ。できるかぎり早く真実に降伏せよ。自分が何に抵抗しているか気づいたその瞬間、証拠の風がどの方角から自分に向かって吹いているか見えたその瞬間に、そうせよ。」）

記憶は薄れていくし、あの頃を振り返るのはほとんど耐えがたい――いや、本当に、自分の昔の文章を読むのは我慢ならない。当時その場にいた人々から、私の記憶について一度すでに訂正されてもいる。だから重要な出来事は覚えていても、それらがどんな順序で起きたのか、まして何年だったのかは、実のところ確信がない。

だが、私の愚かさが砕けた瞬間を一つ選ばなければならないなら、最適化過程という概念を、初めて完全に一般化して理解した瞬間を選ぶだろう。そこで私は初めて過去を振り返り、「私は愚かだった」と言った。

それ以前の2002年、私は人間の一般知能の進化心理学について少し書いていた――もっとも当時はAIについて書いているつもりだった。この時点では擬人化された知能に反対しているつもりでありながら、なお人間の脳に着想を求めていた。（問題の論文は「Levels of Organization in General Intelligence」で、論文集『Artificial General Intelligence』に依頼された一章であり、1最終的に2007年に印刷出版された。）

そこで私は、自然選択がどのようにして人間の知能をどうにか吐き出したのかを考え（そして書い）ていた。自然選択の盲目性と知的な先見の見通し、シミュレーションによる推論と現実ですべてを展開すること、抽象的思考と具体的思考――両者のあいだに二分法を見ていた。それでも人間の知能を生み出したのは自然選択である。だから私たちの思考は違っても、脳は完全に自然選択の刻印に従って作られている。

今でもこれは、かなりの衝撃を与える洞察だったように思える。だから自然選択と知能に駆動される過程を「進化的」と一括りにする人を見ると、苛立って仕方がない。両者は多くの重要な点で、実際ほとんど完全に異なっている――帰結主義や領域横断的な一般性のように、両方を記述するのに使える共通概念はあるにせよ。

だが、かのエリエザー₂₀₀₂が進化と知能の二分法という観点で考えていることは、彼の視野の限界を物語っている。政治を保守派とリベラル派の立場の二分法として考える人や、果物をリンゴとイチゴの二分法として考える人のようなものだ。

「Levels of Organization」の草稿をオンラインで公開したあと、エミール・ギリアムは、私のAI観が私の知能観とかなり似ていると指摘した。もちろんエリエザー₂₀₀₂は、人間の心をかたどったAIの構築を支持してはいない。エリエザー₂₀₀₂は、人間の心が自然選択によってどうにか吐き出された場当たり的な仕掛けにすぎないことをよく知っている。だがエリエザー₂₀₀₂は、人間の思考にあるこうした組織化の階層を記述しながら、AIで別の組織化の階層を使うことを提案してはいなかった。人間という線にあまりにも近く沿いすぎているのではないか、とエミール・ギリアムは尋ねる。私は代案を「完全異質心設計」（Completely Alien Mind Design）と名づけ、CAMDは理論上可能だとしても、人間の技術者が作るにはおそらく難しすぎる、組み立てながらそれほど異質なものを理解することはできないだろう、と答える。

エリエザー₂₀₀₂がこの返答を自分で考え出したのか、それともどこかで読んだのかは分からない。言うまでもなく、その後私はこの言い訳を何度も耳にしてきた。実際には、本当に理解しているものなら通常、内側に何らかの構造的な本質を残しながら、ほとんどどんな形にも組み替えられる。だが飛行を理解していなければ、飛ぶ機械には羽毛が必要だと思い込む。鳥という類推から離れることを想像できないからだ。

だからエリエザー₂₀₀₂は、ある意味でまだ人間風の心の設計に執着している――それらを改良することは思い描いているが、人間のアーキテクチャが、ある意味ではなお彼の出発点なのだ。

最終的にこの執着を断ち切ったものは何だったのか？

恥ずかしい告白だが、それは私が書こうとしていたSF小説から生まれた。（いや、見せられない。未完成だから。）その物語には、認知でも進化でもない最適化過程、いわば結果ポンプのようなものが登場した。知能ではなく、可能な結果の空間を狭く制約する、時間を横断する物理的効果――つまり私は、それを物理的効果として想像していた。（これ以上は話せない。いつか物語を完成させた場合にネタばらしになるからだ。結果ポンプについてのエッセイを読んでほしい。）それは「ただの物語」だったので、私は自由に発想をもてあそび、論理的に展開できた。Cが起こるよう制約されている。ゆえに（過去の）Bが起こるよう制約されている。ゆえに、（Bをもたらした）Aが起こるよう制約されている。

一点を通る線を引くのは、一般に危険だとされる。二点があれば二分法になり、両者は対立するものだと想像する。しかし異なる三点がそろったとき――そのときこそ、目を覚まして一般化せざるを得なくなる。

今や私には三つの点があった。人間の知能、自然選択、そして物語のために創作した仕掛けだ。

こうして私は、未来を可能性の狭い領域へ押し込める過程として、最適化過程という概念を一般化した。

ずっと『Overcoming Bias』を読んできた人には、これは当然の点に思えるかもしれない。だがシェーン・レッグが集めた知能の71の定義を見れば、「未来を制約された領域へ押し込める」という答えが、見かけほど当たり前でないことが分かるだろう。

AI研究者による「知能」の定義の多くは、確かに「問題を解く」ことや「目標を達成する」ことを語っている。だが少なくとも過去のエリエザーたちの視点では、これが「未来を押し込める」ことと同じに見えるのは、あと知恵があるからにすぎない。

目標は心に属する対象だ。電子に目標はないし、問題を解くこともない。人間が目標を思い描くとき、欲する性質を吹き込まれた行為主体を想像する――依然として共感的な言葉遣いなのだ。

知能とは「目標を達成する」ものだという概念を支持しながら、その直後には、ある「目標」が別の目標より優れているかを議論することもできる――目標そのものを判定するのに必要な知恵について語ることも、システムが意図的に目標を修正することについて語ることも、目標を達成する計画を選ぶのに必要な自由意志について語ることも、プログラマーが本当に求めたものは自分の目標ではないとAIが悟ることについて語ることもできる。結果ポンプのように、未来を可能性の狭い領域へ押し込めるものを思い描くと、いかにも筋が通っていそうなこうした言明は、どういうわけか対応する形に翻訳できない。

だから少なくとも私にとって、「心」という言葉を透かして、ただ自然に作動し、ただ物理法則に従うだけで、その未来を狭い領域へ押し込めることになる物理的過程を見ることは、目標を達成しようとする行為主体という概念を越えた、自然主義的な開眼だった。

それは深い穴から落ち出して、ありふれた世界へ落ち込むようだった。張り詰めた認知の緊張が、無理のない単純さへほどけていき、混乱は煙となって漂い去った。知能が成す仕事が見えた。賢いことはもはや性質ではなく、エンジンだった。時間の中の結び目のように、宇宙の外側の部分を内側に反響させ、それによって宇宙を操舵する。同じ開眼の閃きのなかで、心は熱力学の法則に従うために廃熱を出さなければならないことさえ見えた。

以前のエリエザー₂₀₀₁は、友好的AI（Friendly AI）とは念のために作るべきものだ、と話していた――AI設計Xが友好的になるか分からないなら、友好的になると分かっているAI設計Yを選ぶべきだ。だがエリエザー₂₀₀₁は、未来光円錐をペーパークリップへ変える超知能が実際にあり得るかどうかを、自分が知っているとは思っていなかった。

だが今や、それを見ることができた――最適化過程の脈動、流れ込む感覚情報、流れ出す運動指令、操舵される未来。中央には、可能な行為を可能な結果へ結びつけるモデルと、結果に対する効用関数がある。対応する効用関数を入れれば、結果として、未来をどこへでも操舵する最適化器ができる。

その時点まで私は、エリエザー₁₉₉₇によるAIの目標システム設計が、間違いなく、ほかに解釈の余地なく、無意味に人類を絶滅させると、自分自身にはっきり認めたことがなかった。だが今、振り返ると、意味をなす程度に整合していた範囲で、古い設計が本当は何をするのかをようやく見ることができた。大まかに言えば、それは自らの未来光円錐を汎用の道具へ変換しただろう――実行するプログラムのないコンピュータ、用途のない蓄積エネルギー……。

……いったいどうして私は、優秀で鍛錬を積んだ合理主義者である私が――いったいどうして、あれほど明白なことを、六年もの忌々しいあいだ見落とせたのか？

その瞬間、私は頭が澄んだ状態で目を覚まし、思い出した。そしていささか恥じながら、こう考えた。私は愚かだった。