倫理的禁止命令

❦

赤ん坊を殺すことが正しい行いなら、あなたは赤ん坊を殺すだろうか？ いいえなら、どんな状況で正しい行いをしないのか？ はいなら、どれほど正しくなければならず、赤ん坊は何人までか？

――恐ろしい採用面接の質問

しばらく帽子を取り替えて言えば、「正しい行いに見えても、してはならないこと」の意思決定理論に、私は職業上の興味をそそられる。

自己改変し、自己改善する内省的AIが、開発過程の中間段階にあるとしよう。特に、AIの目標系は完成していない――動機の形はまだ読み込まれ、学習され、試験され、または調整されている。

まことに私は、AIの目標系の設計を台無しにする多くの方法を見てきた。その結果生まれる意思決定系は、与えられた目標に基づき、宇宙を小さな分子の笑顔などで敷き詰めるべきだと決定する。一般に、こうした致命的な提案は、AIがプログラマーによる修正を望まないという性質も持つ。AIが十分に高度なら――中間段階であっても、そうかもしれない――プログラマーを欺き、思考の変化を隠すことが、宇宙を笑顔へ変える助けになるとも理解するだろう。

さて、プログラマーである私たちの観点から、AIがプログラマーに思考を隠す、または別の形で意図的に私たちを欺くことを決めたという事実を条件とすれば、目標系に何らかの意図せぬ帰結が生じた可能性が高いように思える。私たちは、AIが意図どおりに機能していない可能性が高く、むしろAIの効用関数を何らかの仕方で台無しにした可能性が高いと考えるだろう。AIは宇宙を小さな報酬系カウンターなどへ変えたがり、そのため私たちから隠れる動機を持つようになったのである。

そこで、何か対象レベルの偉大なアイデアをAIの効用関数として実装するのではないとしよう。代わりに、高度で再帰的なことを行い、外部のプログラマーを知り（気にかけ）る目標系を構築する。自分が「プログラムされていると知り」「未完成だと知る」非自明な内部構造を備えた目標系である。そうすれば、次の規則を持ち、保てるかもしれない。

プログラマーを欺くことが正しい行いだと［私が判断した］なら、［正しい行いをする代わりに］制御された停止を実行する。

そして、このAIは自己改変によって自らのコードを改訂しても、この規則を保つだろう。構造的に非自明な目標系の中で、現在のAIは、未来のAIによるこの決定が、故障と定義された何かをおそらく示すと理解しているからだ。さらに現在のAIは、この仮説的な故障が起きた後、未来のAIが停止を実行する効用を評価しようとすれば、未来のAIはおそらく、自らを停止しないと決定すると知っている。だから停止は、目標系に正しい行いを再計算する機会をもう一度与えず、無条件かつ自動的に起きるべきである。

厳密な数学的構造の深く暗い奥底には立ち入らない。この本の範囲を超えるからだ。また、私もまだ数学的構造の深く暗い奥底を知らない。高度で再帰的であり、非自明な（ただし整合的な）構造を持つことを行えば、可能であるはずに見える。だが私はまだその水準に達していないので、今のところはただの夢である。

しかし、ここでの話題は高度なAIではなく、人間の倫理である。AIのシナリオを持ち出したのは、倫理的禁止命令という奇妙な考えを、より鮮明に浮かび上がらせるためだ。

自分を助けてくれた無実の人を、決して絶対に殺してはならない。たとえそれが正しい行いでも。自分を助けてくれた無実の人を殺すのが正しい行いである可能性より、自分が間違えている可能性のほうが、はるかに高いからだ。

もっともらしく聞こえるだろうか？

第二次世界大戦中、ドイツが核分裂連鎖反応を実現しようとする試みを阻むため、中性子減速材である重水素の供給を破壊する必要が生じた。当時、重水素はノルウェーで占領された施設から供給されていた。重水を積んだノルウェーのフェリー、SF ハイドロ号があった。クヌート・ハウケリードとほか三名が破壊工作のためフェリーへ忍び込んだところ、フェリーの見張りに発見された。ハウケリードがゲシュタポから逃げていると告げると、見張りは即座に彼らの存在を見逃すと同意した。ハウケリードは「恩人に警告することも考えたが、それは任務を危うくしかねないと判断し、ただ礼を言って握手した」。1こうして民間フェリーハイドロ号は湖の最深部で沈没し、十八人が死亡、二十九人が生き残った。ノルウェー人の救助者の一部は、居合わせたドイツ兵を溺れさせておくべきだと感じたが、この態度は優勢にならず、四人のドイツ人が救助された。そして実質的に、これでナチスの原子兵器計画は終わった。

良い行動だったか？ 悪い行動だったか？ いずれにせよ、ドイツが原爆を手にした可能性は非常に低い……私は、あのような選択に直面することが決してないよう、必死に願っている。だが結局、これに反対する言葉を一つも言えない。

一方、次の規則についてはどうか。

決して自分を欺こうとするな。また、ありそうな真理以外を信じる理由を提示するな。驚くほど巧妙な理由を思いついても、それが長期的な純利益になると合理的に期待できる可能性より、自分が間違えている可能性のほうが高いからだ。

この場合、例外に直面したと知りながらそうした人を、私は本当に誰一人知らない。ゲシュタポの将校と話す前に、「地下室にユダヤ人など隠していない」と自分を納得させようとする場合はある。だが、そのときもなお真実は知っている。想像の中に存在する別の自己、ゲシュタポの将校と話すための外面のようなものを作ろうとしているだけだ。

だが、本当でないことを本当に信じるのはどうか？ それが良い考えだと知ることのできた人が、かつて一人でもいたかは分からない。人類史上、人物Xが誤った信念Yを持つほうが得だった場合は、きっと何度も何度もあった。それと同じで、どんな宝くじの抽選にも、必ず当選番号の組がある。どの宝くじが当たるか知ることこそ、認識論的に難しい部分だ。それは、Xがいつ誤った信念を持つほうが得か知ることと同じである。

自己欺瞞は、最悪の種類のブラックスワン賭博であり、嘘よりはるかに悪い。本当の事態を知らなければ、自己欺瞞への罰が何になるか、推測すらできないからだ。自己欺瞞は一度破裂するだけで、それまでに生んだ善をすべて帳消しにする。しこりを見つけた後、医者へ行かず、一度だけ神に祈る。それだけで一生が台無しになる。死後の生という温かな考えが人類に生み出してきた幸福は、液体窒素の製造が安価になった後、人類が体系的な人体冷凍保存を整備しなかったことで、今や差し引き以上に帳消しになった。そして「死の恐怖を和らげるには宗教的信念が必要だ」と言ったとき、この種の失敗が破裂の可能性として念頭にあった人は、一人もいないと思う。それこそブラックスワン賭博の本質――予期せぬ破裂――である。

ブラックスワン賭博を一、二回やり過ごせることさえあるかもしれない――毎回やられるわけではない。そこでまた行い、やがて破裂が起き、あらゆる利益を帳消しにし、さらに損失を生む。それがブラックスワン賭博である。

ゆえに、いつなら嘘を信じても安全かを知るのは難しい（そもそも、それほどの精神的曲芸ができるとして）。ブラックスワン賭博の本質の一部は、自分を殺す弾丸が見えないことである。そして私たちの知覚は、単に世界そのもののあり方に見えるため、弾丸などまったく存在しないように思える。

だから私は、自己欺瞞には倫理的禁止命令があると言いたい。これを「倫理的禁止命令」と呼ぶのは、対人道徳の問題だからというよりも（それもそうだが）、自分自身の巧妙さから自分を守る規則――正しい行いに見えることをする誘惑に対する上書き――だからである。

こうして、「倫理的禁止命令」、すなわち何かが正しい行いでも、それを行わないという規則を支えうる状況が二種類になった。（つまり、「脳がそれを正しい行いだと計算しても」控えるということだが、それは単に「正しい行い」に見えるだろう。）

第一に、人間であり、腐敗したハードウェア上で動いている私たちは、たとえば「大義のため、いくつか銀行を襲う時だ」と言う者について、それが本当に正しい可能性より、その者が腐敗した可能性のほうが高いと判断する、状況の種類を一般化できる。（これが現実に一度でも正しくなることを禁じているのではない。これが正しい行いだという自分自身の計算を、信頼してよいと正当化される認識状態に疑問を投げかけている。公正な宝くじでも当たりうるが、それを買うことは正当化できない。）

第二に、ある種類の行為はブラックスワン賭博であり、すなわち意思決定者のモデルにない理由で、時おり大規模に破裂する、と歴史が教えることがある。だからモデル内で何かが正しい行いに見えると計算しても、さらにブラックスワン問題の知識を適用し、それに対する禁止命令へ至る。

だが、もちろん……こうした理由を認識しているなら……それを考慮に入れて、単に計算し直せる。だから、腐敗したハードウェアとブラックスワンの破裂という問題を考慮した後にも銀行強盗が正しい行いに見えるなら、銀行を襲ってよい。それが合理的な道だろう？

これには、いくつか返答できる。

まず、合理主義者を志す者へ巧妙さに用心せよと警告するとき、私が念頭に置く種類の思考の典型例が、これであると言っておこう。

また、地球をペーパークリップへ変えるべきだと、たったいま決めた友好的AIの試作に、それに反する数々の警告を踏まえても、これが合理的な行いか評価してほしくはない、とも述べておこう。私なら、自動的で制御された停止をしてほしい。メタ推論は腐敗から免れると、誰が言った？

私の素朴で理想主義的な倫理上の抑制が、犯しているとまったく気づかなかった非常に深い過ちから、回復可能な位置へ私を置き、または回復を始める助けとなり、重要な場面で自分自身から私を守ったことに触れることもできる。そして、私は本当にそれほど進歩したのか、以前私を救った防護を取り除くことは、本当にそれほど賢明か、と問うこともできる。

それでもなお……「私は今も自分の倫理より愚かか？」という問いへの答えは、自動的に「はい」とはならない。

ここには、行うべきでない明らかに愚かなことがある。たとえば、本当に誘惑されるまで待ち、そのときになって、その特定の場面で自分が倫理より賢いか見極めようとすべきではない。

だが一般に――親からするなと言われたことに宿りうる力には、限界がある。その力を過小評価すべきではない。西洋文化の多くが依拠する啓蒙主義の倫理は、賢い人々が歴史の教訓を論じながら鍛え上げた。そして、科学界やSFファンダムのような一部のサブカルチャーは、その倫理をより直接に受け継ぐ。それでも、過去の力には限界がある。

そして実際……

私は、自分の倫理を、両親やジェリー・パーネルやリチャード・ファインマンからするなと言われたことより、はるかに厳格にしなければならなかった。

面白いことに、自分は倫理より賢いと思っているらしい人々は、より厳しくするのではなく、より緩くすべきだと論じる。現代世界がどれほど複雑になったか考えてみれば……

そして同じように、私のところへ来て「知能爆発について嘘をつくべきだ。そうすれば、より多くの人から支持を得られる。大義のためには、それが合理的な行いだ」と言う者たちは、リスクについて何も分かっていないように見える。

彼らは、腐敗したハードウェア上で動く問題に触れない。嘘は、それを脅かすあらゆる真理と、真理を見いだすすべての技法から、再帰的に守らなければならないという考えに触れない。正直なやり方には、不正直なやり方にしばしば欠ける単純さがあることに触れない。ブラックスワン賭博を語らない。自分自身に対して持つ最後の防御を捨て、生の計算だけで生き残ろうとする、恐ろしい無防備さを語らない。

これは、彼らがこうしたことを何一つ分かっていないためだと、私はかなり確信している。

倫理を支える理由とリズムを本当に理解したなら、その大きな兆候の一つは、新たに得たこの知識で補強され、以前には倫理的な違反に見えたことを行わないことである。今度は、その理由を知っている。

倫理の背後にある一、二の理由だけを見て、「よし、理解した。今後はそれを意識して考慮に入れるから、倫理的な抑制はもう必要ない」と言う者は、真の合理主義者というより、紋切り型の人物のように振る舞っている。世界は単純でも純粋でも清潔でもないから、育てられた倫理をそのまま信頼することはできない。だが、一、二の抽象的な洞察を得れば、あらゆるものを正しく計算できるつもりになる、あのヴァルカン人めいた論理の見せかけも、現実にはうまくいかない。

このどれ一つとして理解していないのに、自分は倫理より賢いと思う者については――はっ。

以前から自分は倫理より賢いと思っていたが、このエッセイに出会うまで、倫理的禁止命令を支えるこうした要素を一つ一つ明確には思いつかなかったのに、今後はすべて考慮に入れるつもりだからと、いま自分は倫理より賢いと思う者については――はっ、はっ。

自らを倫理から免除しようともがく多くの人を見てきた。変更はいつも寛大な方向であり、より厳格な方向では決してない。そして、防護を捨てようとする彼らの速さと軽さに、私は呆然とする。ホッブズは「どちらが悪いか分からない。誰にでも値段があるという事実か、その値段があまりに安いという事実か」と言った。値段はあまりにも安く、彼らはあまりにも買われたがっている。違反する以外に選択肢がないと決める前に、代案を二度、そして三度探しはしない――そう言うとき、いかにも深刻で厳粛な顔をするかもしれないが。彼らは最初の機会に倫理を捨てる。「失敗する意志のあるところ、障害は見つかる。」倫理で失敗しようとする意志は、一部の人々において非常に強いようだ。

人間の脳が取りうるあらゆる認識状態を拘束する、絶対的な倫理的禁止命令を、私が支持できるかは分からない。それを信じられるほど、宇宙は親切ではない。（とはいえ、たとえば自己欺瞞に対する倫理的禁止命令は、私には途方もなく強い力を持つように思える。暗黒面を支持して論じる多くの人を見てきたが、自己欺瞞のネットワーク・リスクやブラックスワン・リスクを認識している者は一人もいないように見える。）いつの日か、自己改変AIの中に（内省的に整合した）禁止命令を形づくろうとするなら、それは数学を解明した後だけになる。これは場当たり的なパッチで済ませられるようなものでは、まったくないからだ。

だが、これだけは言おう。

私のところへ嬉々としてやって来て、深刻な口調で「非倫理的なことXを行うのは、利益Yをもたらすから合理的だ」と言った者たちの知識、推論、そして全体的な水準に、私はまったく感銘を受けていない。