❦
これまで私が書いたどの文章よりも多くのOvercoming Biasの内容に依存する主張を一つだけ選ばなければならないとしたら、それは次のものになる。
人間の倫理とメタ倫理を詳細かつ確実に継承する目標体系によって形作られていない未来には、価値あるものがほとんど何も存在しないだろう。
ある人は言う。「まあ、君の偏狭な人間的価値観からすれば、君はそんな未来を好まないのかもしれない。だが、君とはまるで異なる主体に満ち、それでも彼らが自分たち自身の目標に大きな価値と関心を見いだす銀河文明なら、簡単に想像できる。私はそれで一向に構わない。君ほど偏見に凝り固まってはいないんだ。四肢を持つ、ぶよぶよした生き物の群れが抱く、笑ってしまうほど原始的な偏見に未来を永遠に縛りつけようとせず、未来には未来の道を歩ませようじゃないか――」
友よ、私たちの文明と途方もなく異なる銀河文明を考えることには、私は何の抵抗もない。そこには、自らの想像の中でさえ私とは似ても似つかぬ奇妙な存在が満ちている。彼らは、私には感情移入の糸口すらつかめない快楽と経験を追求し、想像もつかない商品の市場で取引し、理解不能な目的を追って同盟を組む。私は彼らの人生の物語を決して理解できないだろう。
物事がうまく進んだとき、未来はまさにそのようになる。
人間の倫理（およびメタ倫理）から続く継承の鎖が断ち切られれば、未来はそのようにはならない。魔法のように、喜ばしいほど理解不能なものへ行き着くわけではない。
きわめて高い確率で、それは退屈なものになる。無意味で、失われてもあなたが悲しまない何かになる。
これを自明だと理解するためにこそ、あの膨大な背景説明が必要なのである。
ここで議論のあらゆる論点と曲がりくねった道筋を一つずつたどるつもりはない。そうすれば、私がOvercoming Biasに書いた記事の75％をもう一度通ることになるからだ。ただし、最終的な答えを制約するには、いかに多くの別々のことを知らなければならないかについてだけは触れておこう。
「退屈」という信じられないほど重要な人間的価値について考えよう。「同じこと」を何度も何度も繰り返したくないという願望である。人間の価値の仕様をほとんどすべて、倫理とメタ倫理をほぼすべて備えながら、この一つだけを欠いた心なら想像できる――
――すると、その心は時の終わりまで、自らの光円錐の最果てまで、単一の高度に最適化された経験を何度も何度も再生し続ける。
あるいは、人間が最も楽しむ感情がどのようなものかについて、その仕様をほとんどすべて備えながら、感情には重要な外部の指示対象があるという考えだけを欠いた心を想像しよう。するとその心は、重要な発見をしたと感じ、完璧な恋人を見つけたと感じ、友人を助けたと感じるだけで、それらを実際には何一つ行わない。自分自身が経験機械になってしまうのである。もしその心が、そうした感情とその指示対象を追求するなら、それは善く真実に根ざした未来だろう。だが価値のこの一つの次元が欠けていたため、未来は退屈なものになった。この心は信じられないほど目新しい経験に出会っていると感じてはいるものの、その感覚は少しも真実ではないため、単調で反復的なものになる。
あるいは逆の問題もある。主観的経験を評価することだけを除いて、人間的価値のあらゆる側面を備えた主体である。その結果は、本物の発見を次々になす、感覚を持たない最適化器となる。だが、味わい楽しむ者がそこに誰もいないため、発見は味わわれも楽しまれもしない。これが可能かどうかについて、私は確かに十分な確信を持ってはいない。意識には今なお、ある程度戸惑わされる。それでも、それを目撃する者が誰もいない宇宙は、存在しないのも同然だろう。
価値は単に複雑なだけでなく、脆い。人間的価値には複数の次元があり、そのうちたった一つが失われただけで未来が無に帰すものが複数ある。一撃ですべての価値が砕け散る。どんな一撃でも全価値を砕くわけではないが、そうしてしまう「一撃」の候補は一つではない。
そして、この命題を支える長い弁護が続く。それは私がOvercoming Biasに書いた記事の75％に依存しているため、すべてを要約するには一日を超える仕事になるだろう。いつか別の週にするかもしれない。私はこの議論の木が、実に多くの枝へ分かれていくのを見てきた。
結局のところ、心は同じ経験を何度も何度も繰り返しているべきではない。どんな超知能であれ、そこまで甚だしく正しい行動を取り違えるはずはないのではないか？
なぜ超知性が望むのか――現実の発見を伴わない発見の感覚などという、本質的に無価値なものを？ それが効用関数だったとしても、自分の効用関数は間違っていると気づき、書き換えるのではないか？ 超知性には自由意志があるのだろう？
少なくとも退屈は普遍的な価値でなければならないはずだ。価値があるからこそ、人間に進化したのだろう？ だから反復を嫌う私たちの性向を共有しない心は、宇宙で繁栄できず、淘汰される……。
道具的価値と終端価値の違いを知っており、愚かな自然選択について知っており、その愚かさが適応の実行と適応度の最大化の違いにどう現れるかを理解しており、これによって生殖という道具的な下位目標が、文脈から切り離された無条件の感情へ変わったことを知っているなら……
……そして、人工知能において探索と活用のトレードオフがどう働くかを知っているなら……
……そうすれば、それ自体のために新しさが絶えず少しずつ供給されることを要求する、人間に見られる形の退屈は、壮大な普遍則ではなく、進化が私たちの中へ吐き出した特定のアルゴリズムにすぎないと理解できるかもしれない。そして、考えられる期待効用最大化器の圧倒的多数は、効率のよい探索を必要なだけ行い、時間の大半を、それまでに見つけた最善の選択肢の活用に、何度も何度も費やすだけだと理解できるかもしれない。
とはいえ、それには大量の背景知識が要る。
このように、私がOvercoming Biasに書いた記事の75％と、誤謬と反論の多くの連鎖を、延々とたどることになる。いつか一週間を使って全体図を書き上げようとするかもしれない。だが今は、あなたが議論を読んだものと仮定し、結論だけを述べよう。
未来を握る手を緩め、ハンドルを手放しながら、なお価値ある何かに行き着くことはできない。
そして、手放しても大丈夫だと考える人々は――
――宇宙市民的であろうとしている。それは理解できる。私も子供のころ、同じSFを読んだ。人間そっくりに見えないという罪で異星人を奴隷にする偏狭な悪役。シリコンには感覚がありえないという想定のもと、無力なAIを苛酷な監禁状態で奴隷にする偏狭な悪役。そして、心は私たちとそっくりでなくても、価値あるものとして受け入れられると理解する宇宙市民的な英雄たち――
私はそうした本を読んだ。かつては信じていた。だが、一つの箱から飛び出す美は、あらゆる箱から飛び出すわけではない。すべての秩序を捨て去ったとき、残るのは完璧な答えではなく、完璧なノイズである。より優れたネズミ捕りを作るため、古い設計原則を捨てなければならないことはある。だが、それは設計原則をすべて放棄し、どんな木目模様も他と同じだけ良いとして、削りくずを山にすることとは違う。古い原則はつねに、何らかのより高次の原則、全体を統べるより高次の価値基準の命令を受けて捨てられる。
人間の倫理とメタ倫理を握る手を緩めれば、その結果は、人間的価値の基準に照らして神秘的で異質で美しいものにはならない。道徳的なノイズ、ペーパークリップで敷き詰められた宇宙になる。人間の倫理からエントロピーではなく改善の方向へ変化するには、改善の基準が必要である。そしてその基準は、私たちの脳に、私たちの脳だけに、物理的に表象されているはずである。
宇宙をつかむ人間的価値の手を緩めれば、宇宙はまったく無価値なものに行き着く。人間のあらゆる想像を超え、奇妙で異質で素晴らしく、衝撃的で恐ろしく美しいものにはならない。ただ――ペーパークリップで敷き詰められるだけである。
いいだろうか、多様な種類の心を受け入れるという考えを持つのも、未来が過去より偉大なものになるよう望むのも、過去の自分たちに縛られず、変化して前進しようとするのも、一部の人間だけである。
ペーパークリップ最大化器は、ペーパークリップを最も多くする行動を選ぶだけだ。
ただ飯はない。素晴らしく神秘的な宇宙を望むのか？ それはあなたの価値である。あなたが、その価値を作り出すために働くのだ。その価値を表象するあなたを通して、その力を発揮させよ。未来を形作る決断を、あなたの中でその価値に下させよ。そうすれば、実際に素晴らしく神秘的な宇宙を手にできるかもしれない。
ただ飯はない。価値あるものが現れるのは、それを価値づける目標体系が、それを作り出すために行動するからである。ペーパークリップ最大化器のために、ペーパークリップがどこからともなく物質化することはない。そして人間である私たちにとって、素晴らしく異質で神秘的な未来も、どこからともなく物質化することはない。それを好む私たちの価値が物理的に消滅させられたり、さらには間違った次元で乱されたりすれば、なおさらである。そうなれば、宇宙を価値あるものにするため働く何かは、宇宙に何一つ残らない。
「宇宙市民的」であろうとし、異質な心への正しく有徳な理解を示そうとするときでさえ、あなたは価値を確かに持っている。そのとき、あなたの価値は目に見えない背景へさらに溶け込んでいる。それは人間的であることが、あからさまではなくなっている。おそらくあなたの脳は、あなたがどれほど宇宙市民的になっていても、目を覚まさせて「違う！ 何かがおかしい！」と言わせるほどひどい選択肢を思いつきさえしないだろう。たとえば、「感覚を持たない最適化器が、未来の光円錐内の全物質を吸収し、宇宙をペーパークリップで敷き詰める」。あなたはただ、鑑賞すべき奇妙な異星世界を想像するだろう。
「宇宙市民的」であろうとすること、つまり宇宙の市民であろうとすることは、あからさまに「人間的」に見える目標の表面の薄皮をはぎ取るだけである。
だが、ペーパークリップで敷き詰められた未来を好まず、次のような文明を望むなら……
……感覚を持つ存在からなり……
……楽しい経験を持ち……
……同じ経験を何度も繰り返すのではなく……
……内的な快楽の連続であること以外の何かと結びついており……
……学び、発見し、自由に選ぶ……
……まあ、私の楽しさの理論シリーズでは、いくつかの隠れた細部を掘り下げている。それは、これらの短い英単語に関わる細部である。
あなたが宇宙市民的、普遍的、根本的、あるいは自明な常識として称賛するかもしれない価値も、単に人間的なものとして退けるかもしれない価値とまったく同じく、あなたの脳に表象されている。そうした価値は、人類の長い歴史と、私たちを創り出した、道徳的には奇跡的な進化の愚かさから生まれた。（そして私がついにこの認識に至ると、「偏狭」に見える価値を以前ほど恥じなくなった。だが、それは別の話である。）
これらの価値は、考えられるあらゆる心に現れるわけではない。どこからともなく現れ、期待ペーパークリップ最大化器の効用関数を叱責して撤回させることもない。
間違った次元に強く触れすぎれば、そうした価値の物理的表象は砕け散り、二度と戻ってこない。それを取り戻したいと望むものが、何も残っていないからである。
そして、そうした価値の指示対象である、価値ある宇宙も、もはや生じるべき物理的な理由を一切持たない。
ハンドルから手を放せば、未来は衝突する。