❦
目的が手段を正当化しないなら、何が正当化するのか？
私は自分を、敵対的なハードウェア上で動いているものと考えている。
人間は、政治革命の構造を進化させたのかもしれない。それは腐敗した現在の権力構造より自分たちのほうが道徳的に優れていると信じることから始まり、最後には自分たちも権力に腐敗させられる。これは本人の心中にある計画のためではなく、同じことをして、それゆえ子孫を残した祖先の残響のためである。
これは次の型に当てはまる。
場合によって、人間は向社会的な理由YのためにXをしていると考えるよう進化してきたが、人間が実際にXを行うと、別の適応が作動し、自己利益となる帰結Zを促進する。
この命題から、私はいま、古典的ベイズ意思決定理論の領域を大きく外れる問いへ進む。
もし私が、腐敗したハードウェア上で動いているとしたら？
そのような場合には、古典的意思決定理論の観点から見ればまったくの戯言である、次のような一見逆説的な言葉を、自分が発していることさえあるかもしれない。
目的は手段を正当化しない。
しかし、腐敗したハードウェア上で動いているなら、自分が権力を握ることが正しく利他的な行為に見えるという内省的な観察――この見え方――は、権力を握ることが実際に部族へ最大の利益をもたらす行為だという命題の証拠には、あまりならないかもしれない。
素朴実在論の力により、あなたが動作している腐敗したハードウェアと、それが計算する腐敗した見え方は、世界そのものを織りなすもの――単に「物事はそういうものだ」ということ――に見える。
そこで、奇妙に見える次の規則を持つことになる。「部族のために、たとえ部族に純利益をもたらすとしても、不正をして権力を握るな。」
実際、このように表現するほうが賢明かもしれない。単に「部族に純利益をもたらすように見えるとき」と言うだけなら、「でも、そう見えるだけではない――私が指揮を執れば、部族に純利益をもたらす」と言う人が現れる。
信頼できないハードウェアという概念は、古典的意思決定理論の領域を完全に外れるものに見える。（内省的意思決定理論にどのような影響を与えるかは、まだ私には分からないが、それこそ扱うのに適切な水準だろう。）
だが、人間の水準では、パッチは単純に見える。歪みについて知ったら、歪んだ行動を記述し、それを禁じる規則を作る。「部族のために、部族のためであっても、不正をして権力を握るな」という規則である。あるいは「部族のために、部族のためであっても、殺人を犯すな。」
すると哲学者がやって来て「思考実験」を提示する。仮定によって、無実の五人の命を救う唯一の方法が、無実の一人を殺すことであり、その殺人は五人を確実に救うという状況を設定する。「列車が無実の五人を轢こうとしている。彼らに飛び退くよう警告することは絶対にできないが、無実の一人を列車の進路へ突き落とせば、列車は止まる。選択肢はこの二つだけだ。どうする？」
信頼できないハードウェア上で特定の仕方で推論した結果についての歴史的統計によって、十分正当化されているように見える、ある種の義務論的禁止を受け入れた利他的な人間は、この思考実験に出会うと、精神的苦痛を経験するかもしれない。
そこで、この哲学者のシナリオへの返答を示そう。哲学者の犠牲者がこの返答をするのを、私はまだ聞いたことがない。
「あなたは、無実の五人の命を救う唯一可能な方法が無実の一人を殺すことであり、この殺人が五人を間違いなく救い、これらの事実を私が実質的に確実なものとして知っていると仮定する。だが私は腐敗したハードウェア上で動いているため、あなたが想像させようとする認識状態に入ることができない。したがって私はこう答える。人格に値し、権力によって腐敗する生得的傾向を一切持たない人工知能の社会では、五人を救うため一人の無実の人を殺すのがAIにとって正しく、さらに仲間のAIも全員が同意するだろう。しかし、その答えを自分自身へ拡張することは拒む。あなたが想像させようとする認識状態は、人間以外の種類の人々の間にしか存在できないからだ。」
さて、私にはこれは言い逃れに見える。宇宙は、私たちがこの種の状況を考えざるを得ないことも正当になるほど、十分に不親切だと思う。この種の思考実験を持ち出して回るような人物には、その種の答えがお似合いかもしれない。だが、どんな人間の法制度も、その数を明記していなくても、「有罪者を捕えるため、無実の人を何人投獄してよいか？」という問いへの何らかの答えを体現している。
人間として、私は人間同士が平和に暮らすため作り上げた義務論的禁止を守ろうとしている。だが、私たちの義務論的禁止が、文字どおり、内在的かつ非帰結的に、終端的に正しいとは思わない。「目的は手段を正当化しない」を、腐敗したハードウェア上で動く人間を導く原則として支持するが、よく較正された推定を行うAI社会の原則としては支持しない。（人間社会にAIが一体いるなら、人間がその模範から学ぶかどうかなど、ほかの考慮事項が生じる。）
だから、よく設計された友好的AIは、列車を止めるため一人を縁から突き落とすことを、必ず拒まなければならないとは言わない。当然、まともな超知能なら、より優れた第三の選択肢を考え出すと期待する。だが、この二つしか選択肢がなく、友好的AIが一人を縁から突き落とすほうが賢明だと判断するなら――それを目撃して話を広める人間への波及効果などもすべて考慮した後で――一人を犠牲にして五人を救うのが正しいとAIが述べても、私はそれを警報だとは呼ばない。重ねて言うが、私自身は人を列車の進路へ突き落として回ったり、利他的事業の資金のため銀行から盗んだりしない。たまたま私は人間だからである。だが、友好的AIが権力によって腐敗することは、そのAIが赤い血を流し始めるようなものだ。権力によって腐敗する傾向は、明確な進化的理由から遺伝子が私たちへ組み込んだ、特定の認知回路に支えられた特定の生物学的適応である。友好的AIのトランジスタが血を流し始めないのと同じく、そのコードに自然発生することはない。
さらに進んで、自己利益となる行為の外部的な害を過大評価させる生得的な歪みを持つ心がいたなら、その者たちには「目的は手段を禁じない」という規則――部族を害する（ように見える）ときでさえ、自分に利益をもたらすことを行うべきだという規則――が必要だと言いたい。仮定上、その社会にこの規則がなければ、そこにいる心は他者の酸素を使うことを恐れて呼吸を拒み、全員死ぬだろう。彼らにとって、一人が社会全体の損失と引き換えに個人的利益を手にするという時折の行き過ぎは、私たち人間の一人が慎重になり、商人の損失より自分の利益のほうが実際には大きかったはずのパン一斤を盗む機会を見送る（波及効果も含めて）場合と同じくらい、慎重で徳のあることに見え――実際、同じくらい慎重で徳のあることになるだろう。
「目的は手段を正当化しない」は、一つ上のメタレベルにある帰結主義的推論にすぎない。人間が対象レベルで、目的は手段を正当化すると考え始めれば、信頼できない脳を持つ私たちにとって恐ろしい帰結が生じる。ゆえに人間は、このように考えるべきではない。だが究極的には、すべてがなお帰結主義である。瞬間ごとの決定が信頼できないハードウェアによってなされると知っている存在にとっての、内省的帰結主義であるにすぎない。