❦
「ミラーニューロン」とは、ある行動を行うときと、同じ行動を観察するときの両方で活性化するニューロンである。たとえば、自分が指を一本立てるときと、他人が指を一本立てるのを見るときに発火するニューロンである。この種のニューロンは霊長類で直接記録されており、人間についても一貫した神経画像研究の証拠が見つかっている。
「感情移入的推論」について以前書いたことから、脳はあまりに複雑なので、それをシミュレートする唯一の方法は、よく似た脳がよく似た振る舞いをするよう強制することだ、という考えを思い出すかもしれない。脳はあまりに複雑であるため、私たちが重力や自動車を理解するのと同じやり方、すなわち全体を観察し、部分を観察し、理論をゼロから積み上げるやり方で人間が理解しようとしたら、死すべき私たちの寿命のうちによい仮説を発明することはできないだろう。「そうか！」と、他者の心ほど想像を絶するほど複雑なシステムを言い表すものに思い当たることができる唯一の方法は、たまたま他者の心と驚くほど似たもの、すなわち自分の脳に出会うことである。自分の脳なら実際に似た振る舞いをするよう強制でき、それを仮説として用い、予測を導ける。
それが、私なら「感情移入」と呼ぶものである。
そして「共感」は、これの上に重なる別の何かである。他人が笑うのを見て笑い、他人が苦しむのを見て苦しむことである。それは予測の領域を超え、強化の領域へ入る。
そこであなたは尋ねる。「なぜ冷酷な自然選択が、それほど親切なことをするのか？」
それは、もしかすると、母親の子供への愛や、兄弟姉妹への愛から始まったのかもしれない。彼らに生きてほしいと願うことも、食べ物を与えられてほしいと願うこともできる。それはもちろんだ。しかし、彼らが笑うときに笑い、彼らが顔をしかめるときに自分も顔をしかめるなら、それは人生の多くの場面で、広い範囲にわたって助けることにつながる単純な衝動である。祖先の環境にいる限り、あなたの血縁者が望むことは、おそらく血縁者の繁殖成功と何らかの関係を持つ。むろんこれは選択圧の説明であり、意識的な信念ではない。
あなたは「『血縁者』とタグ付けされた特定の人々が望むものを得るのを見たいという、より抽象的な欲求を進化させ、彼らの感じるものを自分で実際に感じないようにしなかったのはなぜか？」と尋ねるかもしれない。私は肩をすくめて次のように答えるだろう。「そうなれば、『望む』などの完全な定義が必要になるからだ。進化は手込んだ正しい最適経路を取らない。水が下へ流れるように、適応度景観を上へ落ちる。ミラーリングのアーキテクチャはすでにあった。だから感情移入から共感へは短い一歩であり、それで用事は済んだのだ」
血縁者、そして次に互酬性。部族の味方、好意をやり取りする相手である。しっぺ返し戦略、あるいは社会的評判を考慮した進化版である。
人類の中で、もっとも手強いのは誰か？ もっとも強い者か？ もっとも賢い者か？ どちらよりもしばしば、もっとも多くの友人の力を借りられる者だと私は思う。
では、どうやって大勢の友人を作るのか？
チスイコウモリのように、味方に食べ物を運ぶ特定の衝動を持つこともできるだろう。チスイコウモリの群れでは、血を互いに分け与えるシステム全体が存在する。しかし、指定された友人が笑うときに自分も笑うなら、より一般的な動機が生じ、その動機がその生物により多くの好意を貯えさせる。
そして、どのような生物なら、あらゆる場面で友人を怒らせることを避けるだろうか？ 友人が顔をしかめるときに、自分も顔をしかめる生物である。
むろん、指定された「敵」をためらいなく殺せることも必要である。ここで語っているのはまさに人間なのだから。
しかし……これに確信はないが、私には、人間の共感は初期設定で「オン」になっているように実際に見える。見知らぬ人を助ける文化もあれば、見知らぬ人を食べる文化もある。問題は、どちらが明示的な命令を必要とし、どちらが人間の初期設定の振る舞いかということである。人類学についての私の知識が限られているとは認めるが、共感は初期設定でオンになっているように見えると言うことで、自分がそれほど狂った理想主義的な愚か者になっているとは、本当に思わない。
どちらにせよ……二つの陣営間の戦争の傍観者であり、どちらの陣営に対しても自分の共感がオフにされていないのなら、苦痛である。そうなら、写真のキャプションが何であれ、死んだ子供を見るたびに顔をしかめる。それでも二つの陣営は互いに共感を持たず、殺し合いを続ける。
それが人間に特有の共感である。互酬性と援助の奇妙で複雑で深い実装である。それは心同士をもつれさせる。それは他者の心が持つ「欲望」に対する効用関数の一項によってではなく、より単純だがはるかに重大な帰結をもたらすミラーニューロンという経路によって、他者の心が感じるものを感じ、同様の状態を求めることによってだ。たとえそれが今のところ、神経情報の直接伝達ではなく、観察と推論のみによって行われているとしても。
感情移入は、他者の心を予測する人間の方法である。それだけが可能な方法ではない。
人間の脳はすぐに配線を変えられるわけではない。突然暗い部屋に入れられても、部屋を出るまで音をよりよく処理できるように視覚皮質を聴覚皮質に配線し直し、出たとたんにすべてのニューロンを再び視覚皮質に戻すことはできない。
AIなら、少なくとも現代的なプログラミング・アーキテクチャに似たもの上で動くAIなら、計算資源を一つのスレッドから別のスレッドへ簡単に移せる。暗闇に置かれたか？ 視覚を停止し、その演算すべてを音に充てる。古いプログラムをディスクにスワップアウトしてRAMを開放し、明かりがついたらディスクから再びスワップインする。
ではなぜAIは、自分が予測したいものに似た状態へ、自分自身の心を強制する必要があるのか？ 別個の心のインスタンスを作ればよい。ひどく異なるその人間をよりよくシミュレートするため、異なるアルゴリズムを持たせてもよい。データを自分の心の状態と混ぜようとしてはならず、ミラーニューロンを使ってはならない。それが含意するリスクと収拾のつかなさをすべて考えてみよ！
期待効用最大化器、とりわけ知能を抽象的な水準で理解しているものは、他の心を理解するとき、感情移入以外の選択肢を持つ。エージェントは自分自身を誰か他の人の立場に置く必要はない。ただ他者の心を直接モデル化できる。ほかの仮説と同じ仮説であり、ただ少し大きいだけだ。自分の靴を理解するために、靴になる必要はない。
では共感は？ 期待ペーパークリップ数最大化器を扱っているが、まだ万事を自分の好きにできるほど強力ではなく、ペーパークリップを得るために人間と取り引きしなければならないとしよう。そこでペーパークリップ・エージェントは……人間を環境の関連部分としてモデル化し、さまざまな刺激への反応の確率をモデル化し、将来に人間が自分に好意を感じるようにする行動を取る。
ペーパークリップ最大化器にとって、人間は押せるボタンのついた機械にすぎない。他者の感じるものを感じる必要はない。これほど大きくかけ離れた内部アーキテクチャ間で、それがそもそも可能だったとしてもだ。期待ペーパークリップ数最大化器が、人間の笑顔を見たときに「幸せを感じる」ことなど、どうしてできるだろう？ 「幸福」は方策強化学習に特有の表現であり、期待効用最大化のそれではない。ペーパークリップ最大化器は、ペーパークリップを作るときに幸せを感じない。ただ、期待されるペーパークリップの数がもっとも大きくなる行動を選ぶ。もっとも、ペーパークリップ最大化器はペーパークリップを作ったとき、笑顔を表示することが便利だと分かるかもしれない。それを友人と指定した人間を操作する助けになるからだ。
そのようなアルゴリズムを想像することは、少し難しいかもしれない。あなたのように働かず、あなたの脳が自らに取らせられるどのモードのようにも働かないものの立場に、自分を置くのは難しいのだ。
自分の脳を敵を憎むモードで働かすことはできるが、それも正しくはない。真に共感を持たない心が人間をどう見るかを想像するには、自分自身をレバーのついた有用な機械として想像すればよい。人間形の機械ではない。それに対しては本能が働くからだ。ただの木挽き鋸か何かとして想像する。あるレバーは機械に硬貨を出力させ、別のレバーは弾丸を発射させるかもしれない。機械は持続する内部状態を持ち、レバーは正しい順序で引かねばならない。ともかく、それはただの複雑な因果システムであり、それには本質的に心的なものは何もない。
（共感を持たない最適化過程を理解するには、自然選択を研究することを勧める。自然選択は、致命傷を負って死にかけている生物の苦痛がもはや何の繁殖上の目的も果たしていないときさえ、麻酔をかける手間をかけない。麻酔にも繁殖上の目的がないからである。）
だから私は、お許し願いたい表現だが、わずかでも共感的な異星人を成立させるのに必要なものの一覧では、「退屈」よりも前に「共感」を挙げている。進化した異星知的種族全体のある有意な割合に、共感が存在することは不可能ではない。ミラーニューロンは、一度起きたのなら、もう一度も起こりうるような類のものに思える。
共感を持たない異星人も取引相手にはなりうる。あるいはならないかもしれない。星やその種の資源は、宇宙のどこへ行ってもほぼ同じだからである。私たちは彼らと条約を交渉できるかもしれず、彼らは報復への計算された恐怖からそれを守るかもしれない。囚人のジレンマでさえ、私たちは彼らと協力できるかもしれない。だが、私たちは決して彼らと友人にはなれない。彼らは私たちを目的のための手段以外の何かとして見ることは決してない。私たちのために涙を流すことも、私たちの喜びに笑顔を見せることも決してない。そして同種の他の個体も、異なる配慮を受けることはなく、それによって何か重要なものを欠いていると感じることもないだろう。
そのような異星人はvarelseであり、ramenではない。個人的な層で私たちがどうしても関係を築けない種類の異星人であり、試す意味もない。