❦
私は、自分で選んだ場所で、今の精神状態を収めた現在の身体の一形態として、身体的に健康で、負傷がなく、見た目も正常な身体で生きたい。その身体は、私が利用できる医療技術のもとでの平均より3標準偏差速い速度であらゆる負傷から回復し、連続10日を超えて、または1年間に合計15日を超えて、障害、痛み、感覚・器官・身体機能の低下を引き起こす、あらゆる病気や負傷から守られるものとする……。
願いをかなえる魔人には三種類ある。「私が願うべきことを実行してほしい」と安全に言える魔人。どんな願いも安全でない魔人。そして、それほど強力でも知的でもない魔人だ。
年老いた母親が燃える建物に閉じ込められ、あいにく自分は車椅子に乗っているとしよう。自分で駆け込むことはできない。「母をあの建物から助け出してくれ！」と叫べても、聞いてくれる人はいない。
幸い、ポケットには「結果ポンプ」がある。この便利な装置は時間の流れを絞り、ある結果には確率を注ぎ込み、ほかの結果からは確率を抜き取る。
結果ポンプに意識はない。中に小さなタイムマシンがあり、指定された結果が起こらないかぎり、時間をリセットする。たとえば、センサーをコインにつなぎ、表が出たのを見るまでリセットし続けるよう指定して、実際にコインを投げれば、あなたには表が出たのが見える。（物理学者によれば、「リセット」が起こる未来はどれも矛盾しており、そもそも起こらない。だから、自分の別の版を殺しているわけではない。）
結果ポンプに入力できた命題は、何であれどうにかして実現する。ただし、物理法則に反する方法ではない。あまりにも起こりにくい命題を入力しようとすると、その結果が起こる前に、タイムマシンが自然に故障してしまう。
「未来関数」を使って、結果に応じた時間のリセット確率を調整すれば、もっと定量的に確率の流れを変えることもできる。表が出たときのリセット確率が99%、裏のときが1%なら、オッズは1対1から、裏に有利な99対1へ変わる。お金を吐き出す謎の機械があり、吐き出す金額を最大化したいなら、金額が増えるにつれて小さくなるリセット確率を使えばよい。たとえば10ドルなら99.999999%、100ドルなら99.99999%でリセットする。そうすれば、達成可能な最大値を知らなくても、未来関数の値ができるだけ高くなるような結果を得られる。
そこで、あなたは必死にポケットから結果ポンプを引っぱり出す。母親はまだ燃える建物の中にいるのだ、忘れてはいけない。そして目標を記述しようとする。母親を建物の外に出すこと！
操作画面は英語の入力を受け付けない。結果ポンプに意識はないのを覚えているだろう？ だが、近くを調べる3Dスキャナーと、パターン照合の機能は内蔵されている。そこで、母親の頭と肩の写った写真をかざし、写真と照合し、物体のつながりを利用して、頭と肩だけでなく母親の全身を選択する。そして、母親と建物の中心との距離を使って、未来関数を定義する。建物の中心から遠ざかるほど、タイムマシンのリセット確率は下がる。願掛けに「母を建物から出してくれ！」と叫び、Enterを押す。
一瞬、何も起こらないように見える。あなたは周りを見回し、消防車が止まり、救助隊が来るのを待つ。あるいは、力強く足の速い人が、母親を引っぱり出してくれるだけでもよい――。
ドカン！ 雷鳴のような轟音とともに、建物の下のガス本管が爆発する。建物が、スローモーションのように崩れ落ちる中、砕けた母親の身体が空高く放り上げられるのが見える。速く飛び、かつての建物の中心から、急速に遠ざかっていく。
結果ポンプの側面には、「緊急後悔ボタン」がある。すべての未来関数は、このボタンが押される場合に巨大な負の値、ほぼ1の時間リセット確率がつくよう自動的に定義される。だから結果ポンプは、利用者が後悔ボタンを押すほど動揺するようなことを、めったにしない。あなたにも、そのボタンを押した記憶は一度もない。だが、後悔ボタンに手を伸ばしかけたとき――今さら何の役に立つのだろう？――、燃える木の梁が空から落ちてきて、あなたを押し潰す。
それは本当に望んだことではなかったが、定義された未来関数では非常に高得点だった……。
結果ポンプは、第二の種類の魔人だ。安全な願いは一つもない。
年老いた哀れな母を燃える建物から出してほしいと誰かに頼まれたら、助けるかもしれないし、聞こえないふりをするかもしれない。だが、建物を爆破しようなどとは、思いつきさえしないだろう。「母を建物から出してくれ」が実際よりずっと安全な願いに聞こえるのは、自分が極端に低い価値を与える計画を、考慮さえしないからだ。
集団選択主義の悲劇をもう一度考えよう。初期の生物学者の一部は、小さな部分集団を有利にする集団選択が、個体の繁殖抑制を生むと主張した。だが、実験室で実際に集団選択を強いると、共食い、特に未成熟な雌の捕食が生じた。小さな部分集団への選択圧が強ければ、共食いする個体は、自発的に繁殖機会を諦める個体より多く増える。後知恵では明らかだ。だが、幼い女の子を食べるのは、あまりに美しくない解決策なので、ウィン＝エドワーズ、アリー、ブレアトンら集団選択主義者たちは、単に思いつかなかった。自分なら使う解決策しか見なかったのだ。
結果ポンプは建物を爆破してはならないと指定して、未来関数を修繕しようとしたとする。建物の材料が大きすぎる体積に散らばる結果は、ほぼ1の確率で時間をリセットするようにする。
すると、母親は2階の窓から落ちて首を折る。結果ポンプは、やはり母親が建物の外に出る、別の時間の経路を選んだ。それも望んでいたことではなく、人間の救助者には思いつかない解決策だった。
オープンソース願い事プロジェクトが、「母親を燃える建物から出す願い」を開発していてくれればよかったのに。
私の母（私と遺伝子の半分を共有し、私を産んだ女性と定義する）を、今、私に最も近い燃えている建物の境界の外へ移してほしい。ただし、建物を爆破することによってではなく、壁を崩して建物の境界をなくすことによってでもなく、建物が焼け落ちた後に救助隊員が遺体を運び出すまで待つことによってでもなく……。
こうした特殊な場合の数々、限りなく必要に見える修正は、人工足し算のたとえ話を思い出させるはずだ。「15足す15は30だが、15足す16なら31だ」といった主張を、ひたすら明示的に追加して算術のエキスパートシステムを作る、という話である。
あなたは、建物が爆発して母親を空に放り上げる結果を、どう排除するのか？ 先を見通して、母親が死ぬと予測する。その帰結は望まないので、そこに至る出来事を禁じようとする。
脳に「母が中にいる燃える建物を爆破するのは、悪い考えだ」という具体的な文が、あらかじめ固定して記録されているわけではない。それなのに、あなたはまさにその具体的な文を、結果ポンプの未来関数にあらかじめ書き込もうとしている。だから願いが膨れ上がり、時間を通るすべての可能な経路についての自分の判断を記した、巨大な対応表になってしまう。
あなたは本当に望むことを頼めなかった。母親が生き続けることを望んだのに、建物の中心から遠ざかることを願ったのだ。
ただし、望んだのはそれだけでもない。母親が救出されても、ひどい火傷を負っていたなら、無事に救出された結果より、選好の順序は下になるだろう。だから、大切なのは母親の命だけでなく、健康もなのだ。
身体の健康だけでなく、心の状態も大切だ。たとえば巨大な紫の怪物が、どこからともなく吠えながら現れて母親をつかむなど、心に傷を残すような救出は、消防士が来て火のない経路を案内するより劣る。（確かに物理法則を守る約束だが、十分に強力な結果ポンプなら、その瞬間、偶然、近所に宇宙人を現れさせるかもしれない。）それでも、生きたまま焼かれるよりは、怪物に救われるほうがよいはずだ。
ワームホールが自然に開き、母親を飲み込んで無人島へ送るのはどうか？ 死ぬよりはよい。だが、生きて、無事で、健康で、心にも傷を負わず、自分やほかの知り合いと連絡を保てる状態よりは悪い。
飼い犬が消防士に知らせようと走っていったが車にはねられ、その命と引き換えに母親が助かるのは、よいだろうか？ もちろんよい。だが、ほかの条件が同じなら、犬は死なないほうがよい。ほかの人の命と引き換えにしたくはないだろうが、有罪判決を受けた殺人犯の命ならどうか？ その殺人犯が心から善意で母親を救おうとして死ぬ場合は、違うだろうか？ 殺人犯が二人なら？ 母親の命の代償として、記憶も含めたバッハの『小フーガ ト短調』のあらゆる現存するコピーが失われるなら、それだけの価値はあるか？ 母親が末期の病気で、いずれ18か月後には死ぬとしたら？
母親の足が燃える梁に潰されたなら、残りを救い出す価値はあるか？ 頭が潰され、身体だけ残ったら？ 身体が潰され、頭だけ残ったら？ 外で人体冷凍保存のチームが待ち、頭を保存する準備ができていたら？ 凍った頭は人なのか？ テリー・シャイボは人なのか？ チンパンジーにはどれほどの価値があるのか？
脳は無限に複雑なわけではない。自分が下すあらゆる判断を記述するのに十分なコルモゴロフ複雑性、つまりメッセージ長は、有限だ。だが、有限だからといって、小さいとは限らない。私たちは多くのものに価値を置く。それは、幸福に価値を置くことや、繁殖上の適応度に価値を置くことへと還元できるものではない。
人間の道徳全体より小さな、安全な願いは存在しない。時間を通る可能な経路が多すぎるのだ。魔人に示した目的地へ続く道を、すべて思い描くことはできない。「母親と建物の中心との距離の最大化」は、核兵器を爆発させればもっと効果的にできる。さらに強力な魔人なら、母親の身体を太陽系の外へ投げ出せる。さらに知的な魔人なら、あなたにも私にも思いつかないことができる。チンパンジーには核兵器の爆発が思いつかないのと同じだ。チェスをする機械を、すべての可能な盤面に対する一手を固定して書き込んで作れないように、時間を通るすべての経路は思い描けない。
そして現実は、チェスよりはるかに複雑だ。魔人が選ぶ時間の経路を判断するため、自分のどの価値が必要になるか、あらかじめ予測することはできない。とりわけ、燃える建物から母親を救うより、長期的で、広範なことを願うならば。
残念ながら、オープンソース願い事プロジェクトは、魔人の問題をどう考えるべきでないかの例になることを除けば、無益だと思う。唯一安全な魔人は、自分の判断基準をすべて共有する魔人であり、そこまで来れば、ただ「私が願うべきことを実行してほしい」と言えばよい。それは、魔人の「すべき」関数を動かすだけだ。
実際には、何も言う必要はないはずだ。願いを安全にかなえるには、魔人は、その願いを生むに至ったのと同じ価値を共有していなければならない。そうでなければ、あなたの意図した目的地へと至る時間の経路を選ばないかもしれないし、あなたなら初めから計画を考慮さえしないような、恐ろしい副作用を排除できないかもしれない。願いは、あなたの道徳全体という巨大だが有限な構造から導かれた、穴のある一般化なのだ。その構造を丸ごと含めて初めて、すべての穴を塞げる。
安全な魔人なら、願うこと自体が余計だ。ただ、魔人を動かせばよい。