Yudkowsky Sequences 日本語訳
非公式日本語訳 — 原著者・発行元による公式の翻訳ではありません

Eliezer Yudkowsky — 非公式日本語訳

真の囚人のジレンマ

The True Prisoner’s Dilemma

ある日、囚人のジレンマを説明する標準的なイメージは偽物だ、と気づいた。

囚人のジレンマの核心は、次の対称な利得行列である。

 1:C1:D
2:C(3, 3)(5, 0)
2:D(0, 5)(2, 2)

プレイヤー1とプレイヤー2は、それぞれCDを選べる。最終結果に対するプレイヤー1とプレイヤー2の効用は、組の第1、第2の数でそれぞれ与えられる。後で明らかになる理由から、「C」は「協力」を、Dは「裏切り」を表す。

このゲームのプレイヤーは(自分を第1プレイヤーとみなすと)、結果に対して次の選好順序を持つことに注目せよ。(D,C) > (C,C) > (D,D) > (C,D)

選択肢DCを支配しているように見える。相手がCを選べば、あなたは(D,C)(C,C)より好む。そして相手がDを選べば、(D,D)(C,D)より好む。だからあなたは賢明にもDを選び、利得表は対称なので、相手も同じくDを選ぶ。

二人とも、もっと賢明でなければよかったのに! 二人はともに(C,C)(D,D)より好む。つまり、二人とも相互裏切りより相互協力を好むのである。

囚人のジレンマは意思決定理論における偉大な基礎問題の一つであり、膨大な文献が書かれてきた。それだけに、囚人のジレンマを思い描く通常の方法には重大な欠陥がある、少なくともあなたが人間ならそうだ、という私の主張は大胆なものである。

囚人のジレンマの古典的な説明はこうである。あなたは犯罪者であり、犯罪仲間とともに当局に捕らえられている。

互いに独立に、連絡を取らず、後から心を変えることもできないまま、犯罪仲間に不利な証言をするか(D)、黙秘するか(C)を決めなければならない。

今のところ二人とも懲役1年に直面している。証言すれば(D)、自分の刑期が1年減り、犯罪仲間の刑期が2年増える。

あるいは、見ず知らずの人と一度だけ、相手の過去を知らず、後で相手が誰だったかを知ることもないまま、標準的な表に対応する金銭的利得を目当てに、CDを選ぶ状況でもよい。

そして、そうそう――古典的な説明では、あなたは完全に利己的なふりをすることになっている。犯罪仲間にも、隣室のプレイヤーにも、何の関心もないふりをするのである。

私の考えでは、この最後の指定こそが、古典的な説明を偽物にしている。

陪審員に、実際の出来事の結末を知らないふりをせよと命じても、後知恵バイアスは避けられない。同じように、相当な知識に裏づけられた複雑な努力なしには、神経学的に健全な人間が、本当に心から利己的なふりをすることはできない。

私たちは公平感、名誉、感情移入、共感、さらには利他性さえ生まれつき備えている。これは祖先が適応を遂げた反復囚人のジレンマをプレイする環境の結果である。私たちは、実のところ、本当に、絶対的かつ全面的に、(D,C)(C,C)より好むわけではない。もっとも、(C,C)(D,D)より全面的に好み、(D,D)(C,D)より好むことはあるかもしれない。犯罪仲間が3年間を刑務所で過ごすという考えに、私たちの心がまったく動かされないわけではない。

経済心理学者の監督下で単純なゲームをする、あの鍵のかかった小部屋でも、協力するかもしれない見知らぬ人への共感を、私たちは完全かつ絶対に欠いているわけではない。自分が裏切り、見知らぬ人が協力して、自分は5ドルを得る一方で相手は何も得ない、と考えて心から満足するわけではない。

私たちは本能的に(C,C)という結果に固執し、それを双方の決定とすべきだと論じる方法を探す。「相互協力をどうすれば確実にできるか?」というのが本能的な思考である。「最大の利得を得るため、自分はDを選びながら、どうやって相手をだましてCを選ばせるか?」ではない。

利他性、名誉、公平への衝動を持つ人にとって、個々人への金銭的利得がどうであれ、囚人のジレンマは本当の意味で肝心の利得行列を持たない。結果(C,C)のほうが結果(D,C)より望ましく、鍵となる問いは、相手も同じように考えるかどうかである。

そして、いや、ゲーム理論を初めて学ぶ人に、完全に利己的なふりをせよと命じることはできない。それは、擬人化について初めて学ぶ人間に、自分が期待されるペーパークリップ最大化器であるふりをせよと命じられないのと同じである。

真の囚人のジレンマを構成するには、状況は次のようなものでなければならない。

プレイヤー1:人類、友好的AI(Friendly AI)、またはその他の人道的な知性。

プレイヤー2:非友好的AI、または小石を仕分けることしか気にかけない異星人。

人類全体ではないが、その相当な部分に当たる40億人が現在、物質Sでしか治せない致死性の病気にかかり、病状が進行しているとしよう。

ところが、物質Sは別次元のペーパークリップ最大化器と協働しなければ生産できない。物質Sはペーパークリップの生産にも使える。その最大化器が気にかけるのは自分の宇宙にあるペーパークリップの数だけであり、私たちの宇宙の数ではない。そのため、こちらでペーパークリップを作ると申し出ることも、破壊すると脅すこともできない。私たちはその最大化器と以前に接触したことがなく、今後二度と接触することもない。

次元間の接続点が崩壊する直前、人類とペーパークリップ最大化器にはともに、物質Sの一部を追加で自分のものにする機会が一度だけ与えられる。ただし、その奪取過程では物質Sの一部が破壊される。

利得行列は次のとおりである。

  1:C 1:D
2:C (20億人の命を救う、
ペーパークリップを2個獲得)
(30億人の命を救う、
ペーパークリップを0個獲得)
2:D (0人の命を救う、
ペーパークリップを3個獲得)
(10億人の命を救う、
ペーパークリップを1個獲得)

この利得行列は、ペーパークリップ最大化器が数十億人の命とわずか数個のペーパークリップを引き換えにしようとすることに、憤りを感じるよう選んだものである。明らかに、最大化器は当然、物質Sをすべて私たちに渡すべきである。だが、ペーパークリップ最大化器はなすべきことをしない。単にペーパークリップを最大化するだけである。

この場合、そこに至った行動をひとまず措けば、私たちは本当に結果(D,C)を結果(C,C)より好む。10億人の命を犠牲にして2個のペーパークリップを作るより、30億人が病気から治癒し、ペーパークリップは一個も作られない宇宙に暮らすほうを、圧倒的に望む。このような場合、協力することが正しいとは思えない。公平にすら思えない。私たちがこれほど大きな犠牲を払い、最大化器が得るものはこれほど小さいのか? さらに、ペーパークリップ主体は苦痛も快楽も経験せず、宇宙により多くのペーパークリップを含ませる行動を出力するだけだ、と指定しておこう。ペーパークリップを得ても喜びを経験せず、失っても傷つかず、私たちが裏切っても、裏切られたという苦痛を感じない。

では、あなたはどうするのか? 得られるかぎり最高の報酬を、本当に、確実に、心から、絶対的に望み、相手に何が起きるかなど、それに比べればほんの少しも気にかけないとき、それでも協力するのか? 相手が協力するとしても、裏切るほうが正しいように思えるときに?

真の囚人のジレンマの利得行列とは、こういうものである。すなわち、結果(D,C)より正しいように見える――結果(C,C)と比べて――状況である。

だが、それ以外の論理はすべて同じである。両方の主体がそう考え、両方が裏切ればどうなるかについても、まったく変わらない。私たちがペーパークリップを気にかけないのと同じほど、最大化器は人の死も、人の苦痛も、人が感じる裏切りも気にかけない。それでも両者は、(C,C)(D,D)より好む。

だから、もしあなたが囚人のジレンマで協力する自分を誇ったことがあるなら……あるいは、「合理的な」選択は裏切りである、という古典ゲーム理論の評決に疑問を抱いたことがあるなら……上の真の囚人のジレンマには、どう答えるだろうか?

追記:実のところ、相手が、こちらも協力すると予想した場合に協力するなら、一回限りの囚人のジレンマで合理的主体が常に裏切るべきだとは私は考えていない。二つの主体が合理的に(C,C)を達成して、(D,D)を避け、それに伴う利益を得られる状況があると思う。1

ニューカムの問題を論じるとき、私の推論の一部を説明しよう。だが、このジレンマで合理的な協力が可能かを語るには、結果(C,C)がそれ自体好ましいとか善いという直感的感覚を片づけなければならない。数学を把握するには、「相互協力」という向社会的なラベルの向こうを見なければならない。プレイヤー1の観点から(C,C)(D,D)に勝ると直観する一方で、(D,C)(C,C)に勝るとは直観しないなら、この問題を難しくしているものをまだ理解していない。

エリエゼル・ユドコウスキー、Timeless Decision Theory、未刊行原稿(Machine Intelligence Research Institute、カリフォルニア州バークレー、2010年)、http://intelligence.org/files/TDT.pdf↩︎