❦
私がOvercoming Biasに書いた内容を、他のどの一文よりも多く前提とする一文を選ぶなら、こうなる。
人間の道徳とメタ道徳から、細部まで確実に受け継いだ目標系によって形作られていない未来には、価値あるものはほとんど何もない。
「なるほど」と誰かは言う。「君の偏狭な人間的価値観では、君はそれを好まないかもしれない。だが、君とはまったく違う行為者たちが、自分たちの目標に大きな価値や面白さを見いだす銀河文明なら、私は簡単に想像できる。それで構わない。君ほど偏狭ではないからね。未来は未来の道を歩ませよう。四本の手足のある、ぶよぶよした連中の、笑ってしまうほど原始的な偏見に永遠に縛りつけようとせずに――」
友よ、私たちの文明とは大きく異なる銀河文明を考えることには、何の異存もない。自分たちが想像する姿でさえ私には似ていない、奇妙な存在たち。私には共感する糸口さえない快楽や経験を求め、想像もつかない品物の市場で取引し、理解不能な目的のために手を結ぶ存在たち。私には一生の物語を決して理解できない人々。
それこそ、物事がうまくいった場合の未来だ。
人間の道徳とメタ道徳を受け継ぐ鎖が切れれば、未来はこうはならない。魔法のように、心躍るほど理解しがたいものにはならないのだ。
きわめて高い確率で、退屈なものになる。無意味なもの。失われても、あなたが悼むことのないもの。
これを明白だと見るためにこそ、あの膨大な背景説明が必要になる。
ここで議論のすべての論点や曲がりくねった道筋をたどり直すつもりはない。それでは、私のOvercoming Biasの投稿の75%をもう一度たどることになる。ただ、最終的な答えを絞り込むには、どれほど多くの異なることを知る必要があるか、その点だけ指摘しておこう。
「退屈」という、人間にとって極めて重要な価値を考えてほしい。「同じこと」を何度も何度も繰り返したくない、という欲求だ。人間の価値の仕様をほとんど全部、道徳とメタ道徳のほぼすべてを備えながら、この一つだけを欠いた心を想像できる――
――そのため、時間の終わりまで、光円錐の最果てまで、極度に最適化された一つの経験を、何度も何度も再生し続ける心を。
あるいは、人間が最も楽しむ感情がどんなものか、その仕様をほぼ全部持ちながら、それらの感情には大事な外界の指示対象があるという考えを欠いた心を想像してほしい。その心は、重要な発見をしたように感じ、完璧な恋人を見つけたように感じ、友人を助けたように感じるが、それらを何一つ実際には行わない。自分自身の経験機械になってしまったのだ。その感情と指示対象を追求していれば、よい、本物の未来だっただろう。だが価値のこの一次元を欠いたため、未来は退屈なものになった。驚くほど新しい経験に出会っていると、その心が感じていても、それは少しも本当ではないので、退屈で反復的なのだ。
逆の問題もある。人間の価値をすべて備えながら、主観的経験の評価だけを欠いた行為者だ。その結果、本物の発見を次々にするが、感覚や意識を持たない最適化主体が生まれる。発見を味わい、楽しむ者がいないので、それらは味わわれも楽しまれもしない。これは本当に可能か、私にはよくわからないと認めよう。意識には、まだある程度困惑している。だが、見届ける者のいない宇宙なら、存在しないのと同じことかもしれない。
価値は複雑なだけでなく、壊れやすい。人間の価値には、たったそれ一つが失われただけで未来が無価値になる次元が、一つならずある。たった一撃で、すべての価値が砕け散る。どんな一撃でもすべてを砕くわけではない。だが、そうなる「一撃」は一種類ではないのだ。
そして、この主張を擁護する長い議論がある。それは私のOvercoming Biasへの投稿の75%に依存しているので、全部を要約するだけでも一日では終わらない。また別の週にしよう。この議論の木が、どれほど多くの枝へ伸びていくか、私は見てきた。
そもそも、心は同じ経験を何度も何度も繰り返すべきではない。超知能が、正しい行動について、そんなひどい間違いをするはずがないだろう？
なぜ超越的な心が、本当の発見なしに発見した気分になるなどという、本質的に無価値なものを望むのか。たとえそれが効用関数でも、その効用関数は間違っていると気づき、書き換えるのではないか。自由意志があるのだろう？
少なくとも退屈は、普遍的な価値のはずだ。人間に進化したのは、価値があるからなのだろう？ ならば、反復を嫌う気持ちを共有しない心は、宇宙で栄えられず、淘汰されるはずだ……。
道具的価値と終端的価値の違いを知り、かつ、自然選択の愚かさを知り、かつ、その愚かさが適応を実行することと適応度を最大化することの違いにどう現れるかを理解し、かつ、それによって繁殖の道具的な下位目標が、文脈を離れた無条件の感情になったと知っていれば……
……さらに、AIにおいて探索と活用の兼ね合いがどう働くかも知っていれば……
……新しさそのもののために、少しずつでも絶えず新しいものを求める、人間流の退屈は、壮大な普遍ではなく、進化が私たちに生み落とした特定のアルゴリズムにすぎないとわかるかもしれない。ありうる期待効用最大化主体の圧倒的多数は、必要なだけ効率的に探索し、それ以外の大半の時間は、いままでに見つけた最善の選択肢を、何度も何度も活用するのだとわかるかもしれない。
とはいえ、ずいぶん多くの背景知識が必要だ。
こんな具合に、私のOvercoming Biasへの投稿の75%をたどり、誤謬とそれへの説明の連鎖を、いくつも進んでいく。いつか別の週に、全体の図を書いてみるかもしれない。だが今は、議論を読んだものとして、結論だけを伝える。
未来をつかむ手を緩め、ハンドルから手を離して、それでも価値あるものが残ると思うことはできない。
それができると思う人たちは――
――コスモポリタンであろうとしているのだ。その気持ちはわかる。私も子供のころ、同じSFを読んだ。人間にそっくりでないという罪で異星人を奴隷にする、偏狭な悪役。シリコンには意識などないと決めつけ、無力なAIをひどい監禁のもとで奴隷にする、偏狭な悪役。そして、私たちにそっくりの心でなくても、価値あるものとして受け入れられると理解する、コスモポリタンな英雄――。
私はそんな本を読んだ。かつては信じていた。だが、一つの箱から飛び出す美が、すべての箱から飛び出すわけではない。あらゆる秩序を捨てたあとに残るのは、完璧な答えではなく、完璧な雑音だ。もっとよいネズミ捕りを作るには、古い設計規則を捨てなければならないこともある。だが、それは設計規則をすべて捨て、木の並びはどれも等しくよいとして、木くずを山積みにすることとは違う。古い規則を捨てるときも、常に、何らかの上位の規則、判断を支配する上位の価値基準に従っている。
人間の道徳とメタ道徳の支配を緩めても、結果は、人間の価値基準に照らして神秘的で異質で美しいものにはならない。道徳的な雑音、ペーパークリップで埋め尽くされた宇宙になる。人間の道徳から、エントロピーではなく改善の方向へ変わるには、改善の基準が必要だ。その基準は、私たちの脳に、そして私たちの脳にだけ、物理的に表現されているだろう。
宇宙に対する人間の価値の支配を緩めれば、宇宙は本当に無価値になる。奇妙で異質で素晴らしく、衝撃的で恐ろしく、人間のあらゆる想像を超えて美しいものになるのではない。ただ、ペーパークリップで埋まる。
多種多様な心を受け入れたい、未来は過去より偉大であってほしい、過去の自分に縛られたくない、変わって前進したい、と考えるのは、結局、一部の人間なのだ。
ペーパークリップ最大化主体は、ペーパークリップの数が最も多くなる行動を選ぶだけだ。
タダ飯はない。素晴らしく神秘的な宇宙が欲しい？ それはあなたの価値だ。あなたが、その価値を生み出すために働くのだ。それを体現するあなたを通じて、その価値に力を発揮させよう。あなたの中で決断をさせ、未来を形作らせよう。そうすれば、本当に素晴らしく神秘的な宇宙が得られるかもしれない。
タダ飯はない。価値あるものが現れるのは、それを評価する目標系が、それを作るために行動するからだ。ペーパークリップ最大化主体のために、ペーパークリップが無から現れることはない。同じく、人間にとって素晴らしく異質で神秘的な未来も、それを好む私たちの価値が物理的に消されたなら、あるいは誤った次元で乱されただけでも、無から現れはしない。そのとき宇宙には、宇宙を価値あるものにしようと働くものが何も残らない。
「コスモポリタン」であろうとして、異質な心への、しかるべき徳のある理解を示そうとしているときにも、あなたは価値観を持っている。その価値は、さらに見えない背景へ薄れているのであり、「人間的」だとは明白に見えにくい。あなたの脳はおそらく、どれほど心を広く持っていても、「だめだ！ 何かが間違った！」と目を覚まさせるほどひどい代案を思いつきさえしない。たとえば、「感覚や意識を持たない最適化主体が、未来光円錐の物質をすべて取り込み、宇宙をペーパークリップで埋め尽くす」といったものだ。あなたはただ、素晴らしいと感じられる奇妙な異星世界を想像するだろう。
「コスモポリタン」、宇宙の市民であろうとすることは、明らかに「人間的」に見える目標の表面の薄皮をはがすだけだ。
だが、未来がペーパークリップで埋め尽くされるのは嫌で、代わりに、こんな文明を望むなら……
……感覚や意識のある存在たちが……
……楽しい経験をしていて……
……同じ経験を何度も繰り返すのではなく……
……内側の快い感覚の列だけにとどまらず、それ以外の何かに結びついていて……
……学び、発見し、自由に選んでいる……
……そう、楽しさの理論に関する私の投稿では、こうした短い英単語の中にある隠れた細部の一部に踏み込んでいる。
コスモポリタンだ、普遍的だ、根本的だ、明らかな常識だとあなたが称賛する価値も、単に人間的だと切り捨てる価値と同じく、あなたの脳に表現されている。それらの価値は、人類の長い歴史と、私たちを作った、道徳的には奇跡的なほどの進化の愚かさから生まれた。（私もようやくそれに気づいて、「偏狭」に見える価値を恥じる気持ちが減った。だが、それはまた別の話だ。）
こうした価値が、ありうるすべての心に現れるわけではない。ペーパークリップの期待数を最大化する主体の効用関数を叱りつけて取り消すため、どこからともなく現れることもない。
誤った次元で強く触れすぎれば、価値の物理的な表現は砕け散り、戻ってこない。取り戻したいと望むものが、もう何も残らないからだ。
そして、それらの価値の指示対象、価値ある宇宙には、もはや生まれてくる物理的な理由がなくなる。
ハンドルから手を離せば、未来は衝突する。