ニューカムの問題と合理性の後悔

❦

次のものは、意思決定理論史上、最も論争を呼んだジレンマかもしれない。

オメガと呼ぶことにする、別の銀河から来た超知能が地球へやって来て、奇妙な小さなゲームを始める。このゲームでオメガは一人の人間を選び、その者の前に二つの箱を置き、飛び去る。

箱Aは透明で、1000ドル入っている。

箱Bは不透明で、100万ドルまたは何も入っていない。

両方の箱を取るか、箱Bだけを取ることができる。

そしてひねりは、オメガが、あなたは箱Bだけを取ると予測した場合、かつその場合にかぎり、箱Bへ100万ドルを入れたことだ。

これまで観察された100回のすべてで、オメガは正しかった――両方の箱を取った者は全員、箱Bが空で、1000ドルだけを受け取った。箱Bだけを取った者は全員、Bに100万ドル入っているのを見つけた。（箱Bだけを取ると、箱Aは煙を上げて消え、その後でほかの誰も箱Aを取れないと仮定する。）

あなたが選択する前に、オメガは飛び去り、次のゲームへ移っている。箱Bはすでに空か、すでに満杯である。

オメガはあなたの前の地面へ二つの箱を落とし、飛び去る。

両方の箱を取るか、箱Bだけを取るか？

そして、哲学上の標準的な会話は次のように進む。

一箱派：「もちろん箱Bだけを取る。1000ドルより100万ドルのほうが欲しい。」

二箱派：「オメガはもう去った。箱Bはすでに満杯か、すでに空である。箱Bがすでに空なら、両方を取れば1000ドル、箱Bだけなら0ドルを得る。箱Bがすでに満杯なら、両方を取れば100万1000ドル、箱Bだけなら100万ドルを得る。どちらの場合も両方を取るほうが得で、1000ドルをテーブルに残せば損をする――だから私は合理的になり、両方を取る。」

一箱派：「それほど合理的なら、どうして金持ちじゃないんだ？」

二箱派：「オメガが非合理的な性向を持つ者だけに報酬を与えるのは私のせいではない。だが、私にはもうどうすることもできない。」

ニューカム型問題については膨大な文献がある――一般にその特殊例とされる囚人のジレンマを含めれば、なおさらだ。『合理性と協力のパラドックス――囚人のジレンマとニューカムの問題』1は、ニューカムの原論文を収録した論文集である。オンライン資料しか読まない人には、レドヴィグの博士論文が、主要な標準的立場をまとめている。2

文献全体へ立ち入るつもりはないが、現代意思決定理論の支配的な合意は、二箱を取るべきで、オメガは非合理的な性向を持つエージェントに報酬を与えているだけだ、というものである。この支配的な見解は「因果的意思決定理論」と呼ばれる。

ここで私自身の分析を提示するつもりはない。私の基準でも、あまりに長い話だ。

しかし因果的意思決定理論家の間でさえ、ニューカムの問題で、一箱を取るよう自分を事前に拘束できるなら、そうすべきだという点には合意がある。オメガがあなたを調べる前に事前拘束できるなら、箱Bを満たすことを直接引き起こしている。

さて私の分野――忘れているかもしれないが、自己改変AIである――では、これは、ニューカムの問題で二箱を取るAIを構築した場合、そのAIは、こうした状況に直面する可能性を前もって考慮すれば、ニューカムの問題で一箱を取るよう自己改変する、ということになる。自分のソースコードへ自由にアクセスできるエージェントは、安価な事前拘束の方法へアクセスできる。

正確な問題の形は分からないまま、一般にニューカム型問題へ直面するかもしれないと予期するなら、どうだろう？ その場合、ニューカム型問題で一般に高い報酬を受け取るような性向を持つ種類のエージェントへ、自分を改変しなければならない。

だが、ニューカム型問題へ一般によく適した性向を持つエージェントは、どのようなものか？ これは形式的に指定できるか？

できる。だが書き上げようとしたとき、小さな本を書き始めていると気づいた。そして、書くべき最も重要な本ではなかったため、お蔵入りにした。私の執筆速度の遅さは、本当に人生の災いである。私が考え出した理論は、ニューカム型問題によく適していること以外にも、多くの良い性質を持つように思える。誰かが私の博士論文として受け入れてくれるなら、良い博士論文になるだろう。だが、私にこの計画を棚から下ろさせるには、ほぼそれくらいのことが必要である。そうでなければ、時間の支出を正当化できない。少なくとも、現在の本の執筆速度では。

このすべてを言うのは、「一箱を取るための言語的論証は容易に思いつく。難しいのは、一箱を取る良い意思決定理論を開発することだ」という、よくある態度があるからだ。つまり、ニューカムの問題で一箱を取りながら、ほかの場所で不条理な結果を生まない、整合的な数学である。だから私はそのことを理解しており、実際にそのような理論の開発へ着手したが、大きな論文を書く速度があまりに遅く、発表できない。信じようと信じまいと、本当である。

それでも、ニューカムの問題についての私の動機――新しい理論を探さずにはいられなかった理由――の一部を提示したい。それは、合理性に対して私が根源に持つ態度を示すからだ。たとえ、この動機が動機づけた理論そのものを提示できなくても……

第一に、何より先に、根本的に、あらゆるものを超えて――

合理的エージェントは勝つべきである。

誤解して、合理主義者は利己的または近視眼的であるべきだという、ハリウッド式合理性の紋切り型を述べていると思わないでほしい。効用関数に他者に関する項があるなら、他者の幸福を勝ち取れ。効用関数に100万年後に関する項があるなら、永劫を勝ち取れ。

だが、ともあれ、勝て。合理的に負けるな。勝て。

さて因果的意思決定理論の擁護者には、二箱派は勝つため最善を尽くしており、「予測者」が非合理主義者を優遇する呪いをかけたなら仕方ない、と論じる者がいる。この擁護については、まもなく述べる。だがまず、二箱派は本当に勝つため最善を尽くしていると考える因果的意思決定理論家と、二箱を取ることがもっともなまたは合理的な行いだが、この場合、もっともな行動はたまたま予測可能な形で負ける、と考える者とを区別したい。さまざまな問題で合理性は予測可能な形で負けると考える人は、大勢いる。それも、カークは予測可能な形でスポックより優れているという、ハリウッド式合理性の紋切り型の一部である。

次に、オメガは非合理主義者を優遇しているという非難へ移ろう。選択にかかわらず、特定の遺伝子を持って生まれた者だけに報酬を与える超存在なら想像できる。「選択肢を英語で記述し、アルファベット順に並べて最後の選択肢を選ぶ」という特定のアルゴリズムが脳に刻まれた者へ報酬を与え、別の理由で同じ選択肢を選ぶ者へは報酬を与えない超存在なら想像できる。だがオメガは、この決定へ至るのにどのアルゴリズムを使ったかにかかわらず、箱Bだけを取ると選択した者へ報酬を与える。これが、オメガは非合理的な者に報酬を与えるという非難を、私が受け入れない理由だ。オメガは、あなたが特定の認知の儀式に従うかどうかを気にかけない。あなたの予測された決定だけを気にかける。

私たちは、好むどんな推論アルゴリズムも選べる。そして、それ以外の依存関係はなく、そのアルゴリズムの選択だけに応じて報酬または罰を受ける。オメガが気にかけるのは、どこへ行くかであり、どうやってそこへ着いたかではない。

自然は私たちのアルゴリズムを気にかけない、まさにこの考えが、勝つ「道」を追求する自由を与える――それが勝つという信念以外は、特定の認知の儀式に執着しない。あらゆる規則が取り替え可能であり、勝つという規則だけは例外である。

宮本武蔵が述べたように――本当に繰り返す価値がある。

長い武器でも勝て、短い武器でもまた勝てる。つまり一流の道とは、武器が何であれ、その大きさがどうであれ、勝つ精神である。3

（別の例を挙げる。無限の時間にわたる「ダッチブック」の対象にならないためには、有界な効用関数を採用しなければならないと、マギーが論じた。だが、効用関数は取り替え可能ではない。私は、上限も限界もなく生を愛している。生きる年数が有限のNであるとき、N年生きる80.0001%の確率を、グーゴルプレックス年生きる0.0001%の確率と、永遠に生きる80%の確率より好むことはない。これは、私の効用関数が非有界であることを含意する十分条件である。だから、私はその道徳のためにどう最適化するか、解明しなければならない。まず何よりも特定の認知の儀式へ従わねばならず、次に、その儀式へ従うならダッチブックの対象になるのを避けるため道徳を変えなければならない、などと言うことはできない。負ける儀式を捨てよ。勝利の定義を変えるな。それでは、ニューカムの問題が好みの認知の儀式を悪く見せないよう、100万ドルより1000ドルを好むと決めるようなものだ。）

「だが」と因果的意思決定理論家は言う。「一箱だけ取るには、自分の選択が箱Bの空・満杯に影響を与えうると、何らかの仕方で信じなければならない――それはもっともでない！ オメガはもう去った！ 物理的に不可能だ！」

もっともでない？ 私は合理主義者だ。もっともであることなど、どうでもよい。特定の認知の儀式に従う必要はない。箱Bだけを取る理由は、オメガはもう去ったのに、自分の選択が箱へ影響を与えると信じているからでなくてよい。私はただ……箱Bだけを取ればよい。

私には、この決定を計算する代替の認知の儀式が提案できるが、それを収めるにはこの余白は狭すぎる。だが、それを示す必要はないはずだ。要点は、勝利について優美な理論を持つことではない。要点は勝つことであり、優美さは副作用である。

あるいは、別の見方をしよう。何がもっともな決定かという概念から始め、「もっともな」エージェントは大金を持って帰るか、と問う代わりに、大金を持って帰るエージェントを観察することから始める。どのエージェントが最も多くのお金を持って帰る傾向にあるかという理論を開発し、その理論から、何が「もっとも」か解明しようとする。「もっとも」とは、現在の認知の儀式に従う決定を指しているだけかもしれない。ほかに、何かが「もっとも」に見えるか否かを、何が決めるだろう？

ジェイムズ・ジョイス（作家とは無関係）の『因果的意思決定理論の基礎』から。4

レイチェルには「どうして金持ちじゃないの？」という問いへの、まったく良い答えがある。「私が金持ちでないのは」と彼女は言うだろう。「心理学者が、お金を拒むだろうと考える種類の人間ではないからです。私はあなたのような人間ではない、アイリーン。自分がお金を取る型だと知り、心理学者も私がこの型だと知っている以上、口座に100万ドル入っていないと考えるのは、私にとってもっともでした。何をしようと、得られるのはせいぜい1000ドルでした。だから、私にできる唯一もっともなことは、それを取ることでした。」

ここでアイリーンは、「でも、あなたも私のようになりたいでしょう、レイチェル？ 拒む型になりたいでしょう？」と尋ね、この点を追及したいかもしれない。因果的意思決定理論へ傾倒するレイチェルは、この問いへ否定的に答えざるを得ず、それは明らかに誤りだ（アイリーンのようであれば、金持ちになれたのだから）と考える傾向がある。だが、そうではない。レイチェルは、自分もアイリーンにもっと似ていたらと願うことを認められるし、認めるべきである。「もし私が拒む型だったなら」と彼女は認めるかもしれない。「私にとって、もっと良かったでしょう。」ここでアイリーンは叫ぶだろう。「認めたわね！ 結局、お金を取るのはそれほど賢くなかったのよ。」残念ながらアイリーンにとって、その結論はレイチェルの前提から導かれない。レイチェルは、ニューカムの問題で拒む者になりたいと願うことは、どの型であれ1000ドルを取るべきだと考えることと矛盾しない、と辛抱強く説明するだろう。レイチェルがアイリーンの型だったらと願うとき、彼女が願うのは、アイリーンの選択を是認することではなく、アイリーンの選択肢を持つことである。

私に言わせれば、これは合理性の一般原則――実際、私が合理性を定義する方法の一部――である。すなわち、他者の単なる選択を羨むことには決して行き着かない。オメガが遺伝子へ報酬を与えるなら、または遺伝子が一般により幸福な性向を与えるなら、他者の遺伝子を羨むかもしれない。だが上のレイチェルは、アイリーンがその選択をするため使ったアルゴリズムにかかわらず、選択を――その選択だけを――羨んでいる。レイチェルが願うのは、違う選択をする性向をただ持つことである。

他者より合理的だと主張しながら、同時にその選択――その選択だけ――を羨むべきではない。羨む行為を、ただ行え。

私は、合理性は勝つ「道」だと何度も言おうとしている。だが因果的意思決定理論家は、二箱を取ることこそが本当に勝つと主張する。1000ドルをテーブルに残すことで、これ以上うまくいくはずがないからだ……一箱派が実験からより多くのお金を持って帰るにもかかわらず。現在、巨大な効用の山の頂上で微笑んでいるエージェント以外を「勝者」と定義している自分に気づいたら、この種の論証に用心せよ。

確かに、最初から有利なエージェントがいるさまざまな思考実験がある――だが課題が、たとえば崖から飛び降りるか決めることなら、崖から飛び降りるのを不当に拒むことで、飛び降りないエージェントが、飛び降りるエージェントより不当に事前の優位を持つと定義しないよう、注意したほうがよい。この時点であなたはひそかに、「勝利」を特定の認知の儀式へ従うことと再定義している。お金に注意を払え！

あるいは、別の見方をもう一つ示そう。ニューカムの問題へ直面したとき、箱Bだけを取ることが完全にもっともで合理的だと信じる理由を、必死に探したいだろうか？ そのような論証の筋道が存在すれば、箱Bだけを取り、その箱が金で満たされているのを見つけるからだ。1時間後には箱Bが合理的な選択肢だと自分を納得させられる、と確信しているなら、さらに1時間かけて考え抜くだろうか？ これもまた、かなり奇妙な立場である。通常、合理性の仕事は、どの選択が最善か解明することであり、特定の選択が最善だと信じる理由を見つけることではない。

お金が実際に目の前にないかぎり、ニューカムの問題では二箱を取る「べき」で、それが「もっともな」行いだと言うのは、簡単すぎるのかもしれない。この時点では、哲学的ジレンマへ単に麻痺しているのかもしれない。娘が90%の確率で致死的な病気にかかり、箱Aには20%の確率で治す血清が入り、箱Bには95%の確率で治す血清が入っているかもしれないなら、どうだろう？ 小惑星が地球へ突進していて、箱Aには10%の確率で働く小惑星偏向装置が入り、箱Bには100%の確率で働く小惑星偏向装置が入っているかもしれないなら、どうだろう？

その時点で、もっともでない選択をしたい誘惑を感じるだろうか？

箱Bに懸かっているものが、置き去りにすることができないものなら？ もっともであることより、圧倒的に大切なものなら？ 絶対に勝たなければならないなら――勝利と定義されるだけでなく、本当に勝たなければならないなら？

箱Bだけを取るのが「もっともな」決定であってほしいと、全力で願うだろうか？

それなら、もっともらしさの定義を更新する時かもしれない。

自称合理主義者が、自称非合理主義者の単なる決定を羨むことになってはならない。自分の決定は、好きなものにできるからだ。このような立場にいると気づいたら、もっともらしさについての自分の概念に従わなかった相手を叱るべきではない。「道」を取り違えたと理解すべきである。

同様に、「もっともな」信念と、実際に真でありそうな信念を、別々に記録している自分に気づいた場合もそうだ。もっともらしさを誤解しているか、二番目の直感が単に誤っているかの、どちらかである。

さて、「合理性」を勝つ「道」として定義し、同時に「合理性」をベイズ確率論と意思決定理論として定義することはできない。だが、勝利を支配する法則が、実際に数学だと判明してきた、というのが、私が提示する論証であり、ベイズを信頼せよという助言の教訓である。もし、ベイズが失敗する――ある問題で、その決定だけのために、より優れた代案と比べて体系的に低い報酬を受け取る――と判明することがあれば、ベイズは窓から放り出さなければならない。「合理性」は、勝つ「道」――巨大な効用の山の頂上で微笑むエージェントの道――についての私の信念につけたラベルにすぎない。現在、そのラベルはベイズの技芸を指している。

これが因果的意思決定理論への決定的な批判ではないと分かっている――それには実際の本、または博士論文が必要になる――だが、「合理性」という概念に対する、私の根底にある態度の一部を示せていればと思う。

［2015年編集：私は今や、因果的意思決定理論を支配する意思決定理論について、本一冊分の解説「時無し意思決定理論」を書いた。5 暗号学者ウェイ・ダイは、因果的意思決定理論へのもう一つの代案であり、因果的意思決定理論と時無し意思決定理論の両方を支配する、更新なし意思決定理論で応答した。2015年時点で、こうした理論について最も新しい優れた議論は、ダニエル・ヒンツェの「予測的ジレンマにおける問題クラス支配」6と、ネイト・ソアレスおよびベンヤ・ファレンスタインの「理想化された意思決定理論に向けて」である。7］

勝つ選択と、もっともな選択を区別している自分に気づいてはならない。もっともな信念と、最も真でありそうな信念を区別している自分にも気づいてはならない。

これが、私が「合理的」という言葉を、正確さと勝利についての信念を表すために使い――一方で、言語による推論、確実な成功を生む戦略、論理的に証明できるもの、公に実証可能なもの、またはもっともなものを表すためには使わない理由である。

宮本武蔵が述べたように――

太刀を手に取るとき、第一に重要なのは、手段が何であれ、敵を斬るという意図である。敵の斬る太刀を受け、打ち、跳ね、叩き、触れるときはいつでも、同じ動きの中で敵を斬らなければならない。これを身につけることが肝要である。ただ打ち、跳ね、叩き、触れることだけを考えていれば、実際に敵を斬ることはできない。