❦
「私の子供時代の死の螺旋」では、私を過ちへ運んだ中心的な勢い、すなわちエリエザー1996が「知能」と呼んだものをめぐる感情的死の螺旋を述べた。私は技術愛好家でもあり、未来を恐れることへ、あらかじめアレルギーを持っていた。そして人格の倫理を軸にしたSFを数多く読んでいた。その中では、「人間ではない」という理由で、異星人や感覚を持つAIを虐待し、「異質なもの」への恐怖が、人類全体を悪玉の立場に置く。
それは、SFから身につける精神の一部である――自分の内集団、自分の部族を、適切に広く定義することだ。だから私のメールアドレスは、sentience@pobox.comである。
こうしてエリエザー1996は、人類とすべての感覚ある生命のため、超知能を構築しようとしている。
最初は、超知能が善／悪になるか、なりうるかという問いを、独立した議論の話題として本当には思いつかなかったと思う。ただ、「どんな超知性も、銀河をペーパークリップへ変えるほど愚かではないはずだ。これほど知的なのだから、何が正しいかについても、人間よりはるかによく分かるはずだ」という標準的な直感だけがあった。
そして、トランスヒューマニストのメーリングリストで自己紹介し、自分の探求を説明すると、おおよそ次のような返答を受け取った（記憶による）。
道徳は恣意的だ――何かが善い、または悪いと言っても、それについて正しかったり誤っていたりすることはできない。超知能は、自らの道徳を形づくるだろう。
結局、誰もが自己利益を追求する。超知能も違わない。単に、すべての資源を奪うだろう。
個人的には、私は人間だから、人工知能ではなく人間を支持する。この技術を開発すべきではない。代わりに、人間をアップロードする技術を先に開発すべきだ。
AIが悪いことを何もできないよう監視し、確かめる制御系を持たずに、誰もAIを開発すべきではない。
なるほど、それはすべて明らかに誤っている、とエリエザー1996は考え、論敵の議論を粉々に蹴り砕いていった。（そのほとんどは別のエッセイですでに行った。残るものは読者の演習とする。）
エリエザー1996が、「世界一愚かな男が、太陽は輝いていると言う。ゆえに外は暗い」と明示的に推論したわけではない。だがエリエザー1996は、伝統的合理主義者だった。科学とは、異なる立場を取る陣営間の公正な戦いであり、単なる暴力や、同様の政治力の行使を取り除くことで、理想的には最も優れた議論を持つ陣営が勝てる、という比喩を教え込まれていた。
事実を正しく捉えるより、他者の議論のどこが誤っているか述べるほうが容易である。そしてエリエザー1996は、欠陥を見つけることに非常に長けていた。（私もそうだ。欠陥を気にかけるのを拒むことで、その力の危険を解決できるわけではない。）エリエザー1996の観点からは、選んだ陣営は戦いに勝っており――論敵より優れた議論を定式化しており――それなら、なぜ陣営を変えるのか、と思えた。
ゆえに、こう記されている。「この世界には、合理性の理解が絶望的な者が多いため、合理性の初心者は議論に勝ち、自分の能力を誇張して見るようになる。だが優越していても役に立たない。人生は相対評価で採点されない。古代ギリシャ最高の物理学者でも、落ちるリンゴの軌道を計算できなかった。最大限努力しても十分になれる保証はない。ゆえに、他者がもっと悪くやっているか考えるな。」
自分の過ちから論じて救い出してくれることを、誰にも頼れない。救ってくれることを、誰にも頼れない。自分の立場の欠陥を見つける義務を負うのは、あなた、そしてあなただけである。その重荷を下ろしても、ほかの誰かが拾うとは期待するな。そしてこの助言は、自分の足を吹き飛ばすまで、たいていの人には役立たないのではないかと思う。そのあいだずっと、正しく、「明らかに、この議論では私が勝っている」と自分へ言いながら。
現在の私は、どんな人間も論敵と見なさないよう努めている。それは過信へしかつながらない。私が対決しているのは「自然」である。「自然」は、その問題をあなたの技能に合わせず、懸命に努力した見返りに、公正な勝機を与える義務を負わず、史上最高の者であっても、十分に優れていなければ気にかけない。
だが、1996年へ戻ろう。エリエザー1996は、「超知能なら、何が正しいかを私たちよりよく分かるはずだ」という基本的直感を持ち、自分の立場に対して持ち出されるさまざまな議論を、片手間に打ち倒している。お分かりのとおり、彼はその方面に長けていた。物事の欠陥を探すのが賢明である理由について、個人的な哲学まで持っていた、等々。
エリエザー1996へ反論した者の誰も、実際には謎の解消――「道徳」を論じる彼のすべての認知過程を分析する、道徳の完全な還元、道徳が彼にとって事実のように感じられるようにするアルゴリズムの逐次解説――を提示しなかった、ということを、言い訳として述べたいのではない。むしろ、反駁できない議論を提示するには、完全な解を与えてもらう必要があったという、エリエザー1996の水準を測る告発と考えてほしい。
居合わせた少数の哲学者も、彼を困難から救い出さなかった。哲学者が「申し訳ないが、道徳は理解済みで、認知科学と哲学で決着した問題だ。君の見方は単に誤っている」と言うわけではない。道徳の本質は、今なお哲学の未解決問題で、議論は今も続いている。哲学者は、あらゆる陣営の古典的議論を列挙する義務を感じるだろう――そのほとんどは、エリエザー1996が打ち倒せるほど十分に知的である。そこで彼は、哲学は不毛の地だと結論する。
だが待ってほしい。事態はさらに悪くなる。
正確な時期は覚えていない――1997年だったかもしれない――が、もっと若い私、エリエザー1997と呼ぶことにする彼は、超知能の創造が正しい行いだと逃れようなく論証しようとした。