未熟な若さの、まったくの愚かさ

❦

それこそ未熟な若さの、まったくの愚かさだ。おまえたち短命な種族にしかありえぬほど、底知れない無知ゆえの向こう見ずよ……。

――エッドールのガーレーン1

何年も前、私は謎めいた問いに謎めいた答えを提唱した。これまでも何度かほのめかしてきたことだ。だが、その問いは意識ではなかった。いや、意識だけではなかった。もっと恥ずかしい間違いは、道徳を謎めいたものとして捉えたことだった。

これをメタ倫理学の連載が終わった今まで話さなかったのは、エリエゼル₁₉₉₇が間違っていたことを、明確にしておきたかったからだ。

前回の終わりでは、エリエゼル₁₉₉₇は、超知能は道徳的だと直感的に論じるだけでは満足せず、超知能を作ることが正しいのだと、逃れようのない形で論証しようとしていた。

さて、とエリエゼル₁₉₉₇は言った。まず、こう問うことから始めよう。人生には、実際、何か意味があるのか？

「わからない」とエリエゼル₁₉₉₇は即答した。大勢が確信しているように見える話題で、自分の無知を認めることに、いくらか自賛する響きを帯びて。

「だが」と彼は続けた――。

（無知を認めた後に「だが」が来たら、いつでも用心しよう。）

「だが、人生に意味はない、つまりすべての結果の効用がゼロだと仮定すると、その可能性はどんな期待効用計算からも消える。したがって、意味が何かは知らなくても、人生に意味があるとわかっているかのように、いつでも行動できる。では、その意味はどうすればわかるのか？ 人間がまだ論争していることを考えれば、人間には解けないほど難しい問題なのだろう。だから、代わりに解いてくれる超知能が必要だ。ある好みを別の好みより優先する論理的な正当化が存在しない可能性については、その場合、超知能を作ることは、ほかの何をすることより正しくも間違ってもいない。本当にありうる可能性ではあるが、期待効用を計算しようとすると消える。だから、無視すればよい。超知能が人類を滅ぼすと言う人は、人類を滅ぼすのが実は正しいことだと論じているか――そうである理由など見当たらないが――、それとも正しいことなど存在しないと論じているかのどちらかだ。後者なら、知能を作るべきではないという主張は、自分自身を打ち消している」

うう。今の段落を書くのは、本当につらかった。過去の自分は、いつだって私自身に最も濃縮されたクリプトナイトだ。今の私がアレルギーを備えて防いでいるもののすべてに、寸分違わず当てはまるからだ。親は子にしてはいけないと教えることをすべてしてきたからこそ、それをしてはいけないと知っている、とはよく言ったものだ。過去と未来の自分の間にも当てはまる。

エリエゼル₁₉₉₇の議論は、どれほど欠陥だらけか？ 数え切れない。記憶は間違いやすく、思い出すたびに作り直されると知っているので、今の心を使って昔の断片を組み立て直す自分を、信用してはいない。昔書いたものを読めとは言わないでほしい。苦痛が大きすぎる。

だが、効用を一種の物質、内在する性質のように考えていたのは明らかだ。だから「人生に意味はない」が効用＝0に対応した。だがもちろん、この議論は効用＝100でも同じように通る。つまり、すべてに意味があっても、すべて同じだけ意味があるなら、それも消えるはずだ……。確かに当時の私は、効用関数を選好のアフィン構造としては考えていなかった。「効用」を、内在する価値の絶対的な水準と考えていた。

すべきということを、行動を強いる力の、純粋に抽象的な本質、つまり何かをさせるものとして考えていた。だから、どんな心でもすべきことを導き出せば、それに拘束されるのは明らかだと思った。ここから、どんな心にも何かをさせる論理は、人間が「正しい」という言葉で意味し、指すものと、まったく同じだという前提が生まれる。エリエゼル₁₉₉₇は、その前提を明記することすら思いつかなかった……。

だが、これでは欠陥を数え始めてしまっている。ここまで読んできたなら、それは自分でできるはずだ。

この失敗全体の重要な側面は、「人生に意味はない」場合は考える価値がないと証明したつもりだったため、「知能」や「意味」を厳密に定義する必要がないと思っていたことだ。私はそれ以前に、「知能」や「道徳」を定義するとき、形式的かつ厳密になろうとしない、気の利いた理由を考えていた。過去のAI研究者や哲学者や道徳論者が、的外れな定義によって、さんざん論点のすり替えをしてきた、という理由だ。

ここから私は、次の教訓を得る。基準を緩めたり、厳密さの要求をかわしたりする正当化がどれほど巧妙でも、それで足を吹き飛ばされることに変わりはない。

もう一つの教訓もある。私は反駁が得意だった。反対論を打ち負かすときと同じ、どんな欠点でも見つけたら退けるという姿勢を、自分の立場にも適用していたら、論理の穴を見つけ、その立場を退けただろう。そうしたかったなら。他の立場に対していたのと同じ先入観を、自分の立場にも持っていたなら。

だが、カーネマンの名も「動機づけられた懐疑」という言葉も、まだ聞いたことがなかった。すべての証拠を要約する、ちょうど正しい不確実性の状態という概念も、身についていなかった。好きな立場には「信じてもよいか？」、嫌いな立場には「信じざるをえないか？」と問うことが、どれほど致命的かも知らなかった。私は単なる伝統的合理主義者で、科学的方法とは、立場を取って論じ合う人々の審判であり、最良の側が勝てばよい、と考えていた。

私の究極の欠陥は、「知能」が好きだったことでも、技術への愛や、感覚ある存在同士のきょうだい関係をたたえるSFでもなかった。確かに、欠点を見抜く能力でもない。終始、より高い厳密さを自分に要求し、それを満たさない立場は採らなかったなら、これらのどれも私を道に迷わせることはできなかった。あるいはせめて、反論に要求していたのと同じ厳密さで、自分の好む曖昧な立場を調べていたなら。

だが私は、人生に意味があるという信念を反駁することに、あまり関心がなかった。自分の推論は、いつも人生に意味がある場合に支配されるはずだったからだ。

そして知能爆発がかかっているのだから、他の大勢がしくじってきた完璧な定義を探す間、すべてを止めるのではなく、その時点で使える最善の概念を使って、全速力で進むしかないと考えた……。

違う。

違う。その時点で使える最善の概念を使えばよいのではない。

あなたを裁くのは自然であり、自然はこのうえなく正当な言い訳さえ受け入れない。基準を満たさなければ失敗する。それだけのことだ。手持ちのものですませるしかない理由を巧みに論じても無駄だ。自然はその議論を聞かないし、急ぐための優れた正当化が山ほどあったからといって、許してくれない。

必要な軍隊ではなく、手元にあった軍隊で戦争へ行ったドナルド・ラムズフェルドがどうなったかは、皆が知っている。

エリエゼル₁₉₉₇には、正しいモデルを無から生み出すことはできなかったかもしれない。本気で試していたらどうなったかは、誰にもわからないが。そして、厳密さが突然どこからともなく現れるまで、思考を完全に止めるのも、賢明ではなかっただろう。

だが、精密さがないまま、エリエゼル₁₉₉₇が自分の「最善の推測」に体重を預けるのも正しくなかった。今の曖昧な手がかりに満足せず、それに体重を預ける気もないまま、よりよい答えを探す途中なら、自分の暫定的な思考過程で曖昧な概念を使ってよい。だが、暫定的な理解に基づいて超知能を作ってはいけない。手元にある「最善の」曖昧な理解であっても駄目だ。それが私の間違いだった。「最善の推測」と言えば、何かの言い訳になると思っていた。あったのは、自分が満たせなかった基準だけだった。

もちろんエリエゼル₁₉₉₇は、知能爆発への道で減速したくなかった。多くの命がかかっていた。超知能の時代より先にナノ兵器の時代が来れば、地球由来の知的生命の存続そのものがかかっていたのだから――。

自然は、そんな正当な理由を気にかけない。あるのは、成功に必要な、天文学的に高い基準だけだ。それを満たすか、失敗するか。それだけである。

終末は、あなたに公平である必要はない。

終末は、あなたがすでに差し出したものと引き換えに、成功の機会を与える必要はない。

終末の難しさは、あなたの腕前に合わせられてはいない。

終末の代価は、あなたの資源に合わせられてはいない。

終末が、無理なことを要求してきて、

あなたが、それを少しまけてもらおうとしても、

（誰だって、ときには妥協するしかないのだから）

終末は、額を戻そうと値段交渉をしてはこない。

そして、そう、話はまだ悪くなる。

「すべき」という言明は、ほかの「すべき」という言明からしか導けないのだから、純粋な論理からは導けない。この明白な反論に、エリエゼル₁₉₉₇はどう対処したのか？

さて、とエリエゼル₁₉₉₇は述べた。この問題は、原因は別の原因からしか生じない、あるいは実在するものは別の実在するものからしか生じない、それゆえ何も存在しないと証明できる、という議論と同じ構造を持つ。

したがって、と彼は言った。「難問」は三つある。計算可能な過程からクオリアは生まれえないとわかる、意識経験の難問。存在はどうやって、見かけ上の無から生じるのかと問う、存在の難問。そして、「すべき」に到達するという、道徳の難問だ。

これらの問題は、おそらくつながっている。たとえば、快楽のクオリアは、それ自体として望ましいものの最有力候補の一つだ。したがって、意識の難問を解かずには、道徳の難問を理解できないかもしれない。これらが人間には難しすぎることは明らかだ。そうでなければ、哲学が発明されてから2500年の間に、誰かが解いていただろう。

複雑な解があるわけでもないだろう。問題は、そのためには単純すぎる。ただ、人間の概念空間の外にあるに違いない。意識はいかなる計算可能な過程からも生じえないとわかる以上、新しい物理が関わっているはずだ。脳が使っているが、理解はできない物理だ。だからこの問題を解くのに超知能が必要なのだ。たぶん量子力学が関係し、一般相対性理論に由来する微小な閉じた時間的曲線も少し加わるかもしれない。時間のパラドックスには、意識が要求するように見えるのと同じ、還元不可能性の性質があるかもしれない……。

等々、吐き気がするほど続く。私のOvercoming Biasへの一連の投稿に、自分へ書いて送れたらよかったと思う手紙の姿が、見え始めるかもしれない。

ここから得る教訓は、混乱は操作できない、ということだ。理解の穴をうまく迂回する、巧妙な計画は作れない。自分を根本的に混乱させる事柄について「最善の推測」を立て、それを別の、やはり自分を混乱させる事柄へ結びつけることさえできない。いや、できるが、混乱が解けるまでは正しくならない。混乱があるのは心の中であって、現実の中ではない。それをつかんで動かせるもののように扱えば、意図しない喜劇になるだけだ。

同じように、モデルの穴が問題にならない巧妙な理由を考え出すこともできない。謎の周りに境界を引き、便利な取っ手をつけ、本当に理解せずに「謎めいたもの」を使えるようにすることはできない。人生に意味がない可能性を期待効用の式から消そうとした、私の試みのように。穴をつかんで、操作することはできないのだ。

地図の空白が地雷を隠しているなら、その場所へ体重をかけるのは致命的だ。知らないことへの言い訳がどれほど立派でも、変わらない。どんなブラックボックスにも罠が入っているかもしれず、開けて中を見る以外に知る方法はない。手持ちの最善の理解で急いで進むべきだという正当な理由を考え出せば、罠は作動する。

規則を知って初めて、
なぜ学ぶ必要があったかわかる。
そうしなければ何が起きたか、
どれだけ知る必要があったのか。

無知の代価を予告できるのは、知識だけだ。古代の錬金術師には、鉛を金に変えるのが難しい正確な理由を、論理的に知る方法はなかった。そして彼らは毒に侵されて死んだ。自然は気にかけない。

だが、私にも理解の光が差し始めるときは来た。