非公式日本語訳 — 原著者・発行元による公式の翻訳ではありません

Eliezer Yudkowsky — 非公式日本語訳

真の囚人のジレンマ

The True Prisoner’s Dilemma

❦

ある日、囚人のジレンマを思い描く標準的なやり方は、偽物だと気づいた。

囚人のジレンマの核心は、次の対称な利得行列にある。

 1 : C1 : D
2 : C(3, 3)(5, 0)
2 : D(0, 5)(2, 2)

プレイヤー1とプレイヤー2は、それぞれCかDを選べる。最終結果に対するプレイヤー1とプレイヤー2の効用は、数の組の最初と二番目に示されている。後で明らかになる理由から、「C」は協力(cooperate)、「D」は裏切り(defect)を表す。

このゲームのプレイヤーは、自分をプレイヤー1とすると、結果を次の順序で好むことに注目してほしい。(D,C) > (C,C) > (D,D) > (C,D)。

選択肢Dは、Cを支配するように見える。相手がCを選ぶなら、あなたは(C,C)より(D,C)を好む。相手がDを選ぶなら、(C,D)より(D,D)を好む。だから賢くDを選ぶ。利得表は対称なので、相手も同様にDを選ぶ。

二人とも、もう少し賢くなければよかったのに! あなたたちは二人とも、(D,D)より(C,C)を好む。つまり、双方の裏切りより双方の協力を好むのだ。

囚人のジレンマは、意思決定理論の重要な根本問題の一つであり、膨大な文献が書かれている。だから、普通の思い描き方には、少なくとも人間にとって重大な欠陥がある、という私の主張は、大胆なものだ。

古典的な囚人のジレンマは、こう描かれる。あなたは犯罪者で、共犯者とともに当局に捕まった。

互いに連絡せず、後から考えを変えることもできないまま、それぞれ、共犯者に不利な証言をする(D)か、黙っている(C)かを決めなければならない。

いま二人とも、懲役1年になる見込みだ。証言すること(D)は、自分の刑期を1年減らし、共犯者の刑期を2年増やす。

あるいは、あなたと見知らぬ人が、相手の過去を知らず、後から誰だったかもわからないまま、たった一度だけCかDを選び、標準の表どおりの金額をドルで受け取る、とする。

そして、そうそう。古典的な想定では、あなたは完全に利己的なふりをすることになっている。共犯者や、別室のプレイヤーを、まったく気にかけないふりをするのだ。

私の見るところ、古典的な思い描き方を偽物にしているのは、この最後の指定だ。

一連の出来事の実際の結果を知らないふりをするよう陪審員に指示しても、後知恵バイアスは避けられない。そして相当な知識に支えられた複雑な努力なしには、神経系に損傷のない人間は、心から、本当に利己的なふりをすることはできない。

私たちは、公平さ、名誉、共感、同情、さらには利他心まで、生まれつき持っている。祖先が繰り返しの囚人のジレンマに適応した結果だ。私たちは、(C,C)より(D,C)を、本当に、心から、絶対に、全面的に好んでいるわけではない。(D,D)より(C,C)を、(C,D)より(D,D)を、全面的に好むことはあっても。共犯者が3年刑務所に入ると思って、まったく心が動かないわけではない。

経済心理学者の監督のもと、鍵のかかった部屋で単純なゲームをするとき、協力するかもしれない見知らぬ人への同情が、完全に、絶対にないわけではない。自分が裏切り、相手が協力すれば、自分は5ドル得て相手は何も得ない、と思って、ただ嬉しいだけではない。

私たちは本能的に(C,C)という結果に目を向け、それが双方の決断になるべきだと論じる方法を探す。「どうすれば相互協力を確実にできるか?」が、本能的に浮かぶ考えだ。「自分はDで最大の利得を得ながら、相手にはCを選ばせるよう、どう騙せばいいか?」ではない。

利他心や名誉や公平さへの衝動を持つ人にとって、囚人のジレンマは、個々人への金銭的利得がどうあろうと、実際には核心となる利得行列を持っていない。(D,C)より(C,C)の結果が好ましく、大切な問いは、相手も同じ見方をするかどうかになる。

いや、初めてゲーム理論を学ぶ人に、完全に利己的なふりをしろとは指示できない。擬人化について初めて学ぶ人間に、期待ペーパークリップ数を最大化する存在のふりをしろ、と言っても無理なのと同じだ。

真の囚人のジレンマを作るには、状況は次のようなものでなければならない。

プレイヤー1:人間、友好的AI、あるいはほかの人道的な知性。

プレイヤー2:非友好的AI、あるいは小石を仕分けることだけを気にかける異星人。

人類全体ではないが、そのかなりの部分である40億人が、物質Sでしか治せない致死的な病気にかかり、いま進行中だとしよう。

ただし物質Sを作れるのは、別次元のペーパークリップ最大化者と協力した場合だけだ。物質Sは、ペーパークリップの製造にも使える。その最大化者が気にかけるのは自分の宇宙のペーパークリップ数だけで、私たちの宇宙の数ではない。だから、こちらでクリップを作ると申し出たり、壊すと脅したりはできない。これまで最大化者と関わったことはなく、今後二度と関わることもない。

人類にも最大化者にも、次元間の接続が崩れる直前に、物質Sの一部を追加で奪い取る機会が、一度だけ与えられる。だが、奪う過程で物質Sの一部が壊れる。

利得行列は次のようになる。

  1 : C 1 : D
2 : C (救われる人命+20億人、
得られるペーパークリップ+2個)
(人命+30億人、
ペーパークリップ+0個)
2 : D (人命+0人、
ペーパークリップ+3個)
(人命+10億人、
ペーパークリップ+1個)

この利得行列は、ペーパークリップ最大化者が、数十億人の命とクリップ二つを天秤にかけようとしている、と考えると憤りが湧くように選んだ。明らかに、最大化者は物質Sを全部こちらへ渡すべきだ。だが、ペーパークリップ最大化者は、すべきことをしない。ただクリップを最大化する。

この場合、その結果を生んだ行動は別にすると、私たちは(C,C)より(D,C)という結果を、本当に好む。クリップ二つを作るため10億人を犠牲にするより、30億人の病気が治り、クリップは一つも作られない宇宙で生きるほうが、はるかによい。こんな場合に協力するのは、正しいとは思えない。公平にさえ思えない。こちらの犠牲はあれほど大きいのに、最大化者が得るものはあれほど小さいのか? また、このクリップ主体には苦痛も快楽もないと指定しよう。自分の宇宙にもっと多くのクリップが含まれるよう導く行動を、出力するだけだ。クリップを得ても喜ばず、失っても傷つかず、こちらが裏切っても、裏切られた苦しみは感じない。

そのとき、どうするだろう? 本当に、間違いなく、心から、絶対に、得られる最大の報酬が欲しくて、それに比べれば相手のことなど少しも気にかからなくても、協力するだろうか? 相手が協力しても裏切るほうが正しいと思えるときに?

真の囚人のジレンマの利得行列とは、そういうものだ。(C,C)より(D,C)のほうが正しく思える状況なのだ。

だが、それ以外の論理——両者がそう考え、両者が裏切ったらどうなるかについてのすべて——は同じだ。ペーパークリップ最大化者は、人間の死も、苦痛も、裏切られた気持ちも、私たちがクリップを気にしないのと同じくらい気にしない。それでも双方とも、(D,D)より(C,C)を好む。

だから、囚人のジレンマで協力する自分を誇ったことがあるなら……あるいは、「合理的な」選択は裏切りだという古典的ゲーム理論の判断に疑問を持ったことがあるなら……この真の囚人のジレンマに、何と答えるだろう?

追伸:実際には、相手がこちらも協力すると予想すれば協力する場合、一回限りの囚人のジレンマで合理的な主体が常に裏切るべきだとは、私は思っていない。二つの主体が合理的に(D,D)でなく(C,C)を実現し、それによる利益を得られる状況があると思う。1

その理由の一部は、ニューカムの問題で説明する。だが、(C,C)はそれ自体すてきでよい結果だという腹の底の感覚を取り除くまで、このジレンマで合理的な協力が可能かは論じられない。数学を理解するには、「相互協力」という親社会的なラベルの先を見なければならない。プレイヤー1にとって(C,C)が(D,D)よりよいと直感するのに、(D,C)も(C,C)よりよいとは直感しないなら、この問題を難しくしているものを、まだ理解していない。

Eliezer Yudkowsky, Timeless Decision Theory, Unpublished manuscript (Machine Intelligence Research Institute, Berkeley, CA, 2010), http://intelligence.org/files/TDT.pdf. ↩︎