何かが正しくありうるのか？

❦

何年も前、エリエゼル₁₉₉₉は、自分が倫理について何ひとつ知らないと確信していた。彼の知るかぎりでは、倫理は人類の絶滅を要求するかもしれなかった。そして、もしそうなら、倫理に反旗を翻すことに何の徳も見いださなかった。なぜなら、その道徳的事実を仮定したなら、定義上、人類の絶滅こそが「なされるべき」ことを意味する、と考えていたからである。

十分な推論時間と十分な事実が与えられれば、何が正しいかを解明できるかもしれないとは思っていた。だが、現時点ではそれについて何の情報も持っていないと思っていた。自分を作り上げた進化を信頼することはできなかった。そうすると、立つべきどんな土台が残るというのか？

実際、少なくとも明示的に表現された哲学に関するかぎり、エリエゼル₁₉₉₉は倫理の本性について途方もなく間違っていた。

しかし、デイヴィドソンがかつて指摘したように、「ビーバー」は砂漠に住み、純白で、成獣になると300ポンドの重さになると信じているなら、あなたはビーバーについて、真であれ偽であれ、いかなる信念も持っていない。残りの信念が何かについて間違ったものになりうるためには、まず信念の少なくとも一部が正しくなければならない。

倫理について何の情報も持っていない、という私の信念は、内部的に整合していなかった。

何も知らないと言うことは有徳に感じられた。というのも、かつて私は、自分の無知を告白するのは有徳であると教わっていたからだ。「私が知っているただ一つのことは、自分が何も知らないということだ」などという、あれである。だが、この場合は、明らかに誇張された「最も愚かなのは、自分が賢いことに気づいていない者だ」という言葉を考えたほうがよかった。（これは愚かさの最大の形には遠く及ばないが、それでも一種の愚かさではある。）

人を殺すのは間違っているのか？ まあ、私はそう思っていたが、確信はなかった。人を殺すのが正しい可能性もあったが、そうである見込みは低そうだった。

人を殺すのが正しいかどうかに答えるのは、どのような手続きなのか？ それも私は知らなかった。だが、汎用超知能（後に私が「完全な空白の幽霊」と名づけるもの）を作れば、それはおそらく何が正しく何が間違っているかを推論できるだろう、そして超知能なのだから、正しい答えにたどり着くに違いない、と考えていた。

私がどうにか深く考えずに済ませていた問題は、その超知能が、倫理を発見する手続きを発見する手続きを発見する手続きを、どこから得るのか、ということだった。私が、後継AIを書く初期状態にそれを書き込めず、その後継AIがさらに後継AIを書くのだとすれば、なおさらである。

マルチェロ・ヘレスホフが後に言ったように、「出力を知らず、しかも出力について重要な事実を知っているのでなければ、私たちはわざわざコンピュータプログラムを走らせたりしない」。私が倫理について何も知らず、倫理の本性を知っているとすら主張しないなら、いったいどうすれば、「超知能」であれ「自己改善型」であれ、何らかのコンピュータプログラムを構築して、それが「倫理」と呼ばれるものを出力すると主張できるのか？

コンピュータ科学にはノーフリーランチ定理がある。最大エントロピーの宇宙では、平均すれば、どの計画も他の計画より優れてはいない。「倫理」について何の知識も持たないなら、「倫理」を計算する見込みが他より高そうに見える計算手続きもなければ、「倫理」を計算する手続きを生み出す見込みが他より高いメタ手続きもない。

完全な空白の幽霊でさえ、自分が倫理について何も知らないと気づけば、倫理について考えよという道徳的要請を見いだすに違いない、と私は考えていた。

しかし難点は、考えるという言葉にある。思考は、完全な空白の幽霊が自動的に行える活動ではない。考えるためには、その思考に当たる何らかの特定の計算を実行しなければならない。内省的AIが考えようと決めるには、ウィジャ盤に尋ねるより、自分の知りたいことを教えてくれる可能性が高いと信じる何らかの計算を知っていなければならない。さらにAIは、その出力をどう解釈するかについての考えも持っていなければならない。

倫理について何も知らないなら、「べき」という言葉はいったい何を意味するのか？ 死が正しいのか間違っているのかを知らず、死が正しいのか間違っているのかをどうすれば発見できるかも知らず、ある手続きが、死が正しいか間違っているかを述べる手続きを出力するかどうかも知らないなら、「正しい」「間違っている」という言葉はいったい何を意味するのか？

「正しい」「間違っている」という言葉に、出発点となるものが何ひとつ組み込まれていないなら、倫理について、内容だけでなく構造も出発点も判定手続きも含めてあらゆることが未定であるなら、その言葉にどんな意味があるのか？ 「何が正しいのかわからない」と「何がワカリクスなのかわからない」を、何が区別するのか？

科学者は、どんな理論も反証されうるのだから、科学ではあらゆることが未定だと言うかもしれない。しかしその場合にも、理論を反証しうる証拠として何が数えられるかについては、何らかの考えを持っている。科学者が証拠とみなすものを変える何かはありうるだろうか？

実は、ありうる。カール・ポパーをいくらか読み、「証拠」の意味を知っていると思っていた科学者に、ベイズ確率の根底にある整合性と一意性の証明を示せば、証拠の定義が変わるかもしれない。その科学者は、そのような証明が存在しうるという明示的な概念をあらかじめ持ってはいなかったかもしれない。だが、暗黙の概念は持っていただろう。明示的に表象されてはいなくても、これこれの議論を聞けば、ベイズ確率はこれまで使っていたものより優れた「証拠」の定義を与えると実際に納得する、という性質が脳に組み込まれていたはずである。

同じように、「倫理が何かはわからないが、見ればそれとわかる」と言っても、意味は通る。

しかし、その場合あなたは、自分自身の進化した本性に完全に反逆しているわけではない。「倫理」を認識するために自分の中に組み込まれたものが、絶対的には信頼できなくとも、少なくとも議論を始める初期条件ではある、と仮定している。あなたの道徳的直観が倫理について何らかの情報を与えると信頼できるのか？ それは単なる進化の産物なのに。

だが、進化があなたに与えたすべての手続きとその産物のすべてを捨てるなら、自分の脳を丸ごと捨てることになる。倫理を見たときにそれと認識できる可能性を持つものをすべて捨てることになる。道徳的議論に応じて自分の倫理を更新できる可能性を持つものもすべて捨てることになる。巻き戻す主体よりさらに前まで巻き戻してしまう。つまり、進化が倫理的であるとは信頼できないという結論を支える直観まで捨てるのである。進化は倫理の源としてあまり良くなさそうだと告げているのは、あなたの既存の道徳的直観である。そうなると、「正しい」「べき」「より良い」という言葉はいったい何を意味するのか？

人間は、真実を見れば常に完全に認識できるわけではなく、狩猟採集民はベイズ的な証拠基準の明示的な概念を持っていない。だが、私たちの科学と確率論のすべては、「真実」についての本能的な概念へ次々に訴える連鎖の上に築かれた。この中核に欠陥があったなら、現在の科学概念に到達するために原理上できることは何もなかっただろう。科学という概念は、まったく魅力がなく無意味に聞こえただけだろう。

過去に戻って10代の自分と議論できたとしたら、その誤りから彼を揺り起こせたかもしれない論証の一つは、次の問いである。

人間が知覚せず、知覚したいとも思わず、採用を促す魅力的な道徳的議論も、その倫理を採用する手続きを採用せよという道徳的議論も一切見いだせないような倫理、何らかの所与の正しさや間違いは存在しうるだろうか？ ある倫理が存在し、私たち自身がその参照枠の完全に外にいることはありうるだろうか？ だが、そうだとすれば、その何かを、どこかにある「汝、殺すべし」と書かれ、正当化がまったく添えられていない石板ではなく、倫理にしているものは何なのか？

したがって、これはすべて、あなたが倫理について少しは知っているかもしれないと認めるべきだ、と示唆している。疑いえないものではないかもしれないが、自分自身を問い始めるための初期状態ではある。脳に組み込まれていながら、あなたに明示的には知られていないものかもしれない。それでも、あなたの脳が正しいと認識するであろうものこそ、あなたが語っている対象である。少なくとも「倫理」を考えるべき何かとして特定できるだけの、自分が道徳的議論にどう反応するかというあり方を、出発点として受け入れることになる。

だが、それはかなり大きな一歩である。

それは、あらゆる倫理が彼方から輝く大いなる光である（そして原理上、あなたにはまったく知覚できないかもしれない）と考える代わりに、自分の心が道徳的な参照枠を特定していると認めることを意味する。光が存在し、あなたの脳がそれを「倫理」と認識すると決めたとしても、やはり認識したのは自分の脳であり、因果的責任を免れたことにはならないし、私の考えでは道徳的責任を免れたことにもならない、と認めることを意味する。

それは、完全な空白の幽霊が必ずあなたに同意するという考えを捨てることを意味する。その幽霊は別の道徳的参照枠を占め、別の議論に反応し、次に何をすべきかを計算するときに別の問いを尋ねているかもしれないからである。

そして、「倫理」というこの話題そのものの意味に、つまりあなたが「正しさ」について語るときに語っているこの正しさという性質に、少なくともいくつかのものを組み込むことを受け入れるなら、「倫理」について論じるときに論じているものこそが倫理だということだけでも受け入れるなら、ほかの直観や自分自身のほかの部分も、出発点に取り入れてはどうだろう？

ほかの条件が等しければ、悲しみより喜びのほうが望ましい、と受け入れてはどうだろう？

後になって、自分の内側に、あるいは自分自身の上に築かれた、この考えを批判するための根拠が見つかるかもしれない。だが、ひとまず受け入れてはどうだろう？ 単なる個人的好みとしてではない。「真に正しいものは何か？」と問うとき、その問いそのものに組み込まれた何かとしてである。

だが、そうすると、倫理について実に多くのことを知っていると気づくかもしれない！ 確実なものでも、疑いえないものでも、議論の余地がないものでもない。それでも、かなりの情報である。あなたはソクラテス的無知を手放す覚悟があるだろうか？

もちろん私は、定義によって論じることはしない。だが、倫理について本当に何ひとつ知らないと主張するなら、あなたの言葉は、そのもっともらしさだけでなく、意味についても問題を抱えることになる。