架空の証拠から一般化するという論理的誤謬

❦

高度なAIの話を始めようとすると、半分以上の確率で最初に何と言われるだろう？

「ああ、『ターミネーター』や『マトリックス』、アシモフのロボットみたいなものですね！」

私は答える。「ええと、いや、正確には違います。架空の証拠から一般化するという論理的誤謬は、避けるようにしているので」

すぐわかって笑う人もいる。例を使うことを擁護し、誤謬ではないと反論する人もいる。

映画や小説を議論の出発点にして、何が悪いのだろう？　結局、それが真実だと主張している人はいない。どこに嘘があり、合理主義者の罪があるのか？　SFは、作者が未来を思い描こうとした試みだ。ゼロから始めるより、すでに代わりに考えてくれたことを活用すればよいではないか？

合理性という精密な踊りでの踏み間違いは、虚偽をそのまま信じることだけではない。もっと目立たない間違い方もある。

まず、SFは未来を予測する本格的な合理的試みだ、という考えを片づけよう。最も勤勉なSF作家でさえ、まず何より語り手だ。物語を語るための要件は、予測の要件とは違う。ニック・ボストロムが指摘するように。¹

人類が、警告もなく、ほかの文明に置き換えられることもなく、突然絶滅する映画を、最後に見たのはいつだろう？　この筋書きは、人間の英雄が怪物やロボット戦士の侵略を見事に撃退する筋書きより、はるかに確率が高いかもしれない。だが、見ていてあまり面白くはないだろう。

つまり、フィクションには特有の歪みがある。だが、その特定の歪みを補正しようとするだけでは足りない。物語は、最も勤勉なSF作家によるものでも、合理的な分析の試みでは決してない。物語は確率分布を使わないからだ。次のように例示しよう。

ボブ・マーケルサッドは異星人の宇宙船の扉を慎重にくぐり、恐ろしい宇宙怪物がまだ残っていないかと、右、次に左——あるいは左、次に右——へ目を走らせた。腰には、宇宙怪物に効くと判明した唯一の武器がある。30%の確率で純チタン製の宇宙剣、20%で普通の鉄のバール、45%でストーンヘンジの煙を上げる廃墟から見つかった、黒く輝く円盤だ。残り5%は、ここには列挙しきれない多数の小さな可能性に分布している。

マーケルサッド——もっとも、代わりにスーザン・ウィッフルフーファーがいた可能性もかなりある——が二歩前進、あるいは一歩後退したとき、巨大な咆哮が、黒いエアロックの沈黙を切り裂いた！　あるいは、白いエアロックの静かな機械音を！　アムファーとウーフィ（1997年）はここでマーケルサッドが食われると論じるが、スパックルバックル（2003年）は、次の点を指摘する——。

登場人物は無知でもよいが、作者は「私にはわからない（I don't know）」という魔法の三語を口にできない。主人公は、未来の中を一本の線として進まなければならない。その線には、物語に肉づけする細部が詰まっている。ウィッフルフーファーの、未来人にふさわしいフェミニズムへの態度から、イヤリングの色まで。

そして、こうした重荷となる細部と怪しい仮定は、まとめて包まれ、短いラベルをつけられる。それが一つのパッケージだという錯覚が生まれる。

答えの空間が大きい問題で最も難しいのは、正解を検証することではなく、そもそもその空間の中で正解の所在を突き止めることだ。「AIは『マトリックス』のように私たちをカプセルへ入れるのか？」から始める人は、100ビットの命題へ飛びついている。それを、明示的に検討する価値のある可能性として答えの空間に見つけるための、98ビットの証拠なしに。最初の98ビットの後は、わずかな証拠を足すだけで、その可能性はほぼ確実になる。このことは、作業のほとんどがどこで行われるかを教えている。

明示的に検討する価値のある可能性を見つけるという「準備」段階には、何を知り、何を知らないか、何を予測でき、何をできないかを考えること、ばかばかしさへのバイアスを意識して避け、信頼区間を広げること、どの問いが重要か考えること、ブラック・スワンの可能性を織り込み、これまで知らないことさえ知らなかったものを考え出すことなどが含まれる。「『マトリックス』か、否か？」へ飛びつくのは、これをすべて飛ばすことだ。

交渉の専門家なら誰でも、議論の条件を支配することは、ほぼその結末を支配することだと知っている。『マトリックス』から考え始めれば、浮かぶのは、長い戦いの末に人間を倒す行進するロボット軍団であって、ナノ技術の指をぱちんと鳴らす超知能ではない。「私たち対彼ら」の争いに焦点を当て、「誰が勝つか」「誰が勝つべきか」「AIは本当にそうなるか」といった問いへ注意を向ける。「あなたの驚くべき未来像は？」という、娯楽の空気を全体に作り出す。

そこで虚空へ消えていくのは、「人工知能」が実装しうる複数の心の設計を考えること、未来が初期条件に依存すること、人間を超える知能の力とその予測不可能性についての議論、そして、この問題全体を真剣に受け止め、何とかしようとする人々だ。

議論を陰険に歪める者が、自分の望む結末のためには、参加者にまず『ターミネーター』への反論から始めさせるのがよいと判断したなら、議論の枠組みを歪める仕事は、うまくできたことになる。銃規制の議論で、全米ライフル協会の広報担当者は「銃撃狂」と紹介されたくないし、反銃派の相手も「被害者の武装解除の推進者」と紹介されたくはない。ハリウッドの脚本家に、偶然にせよ、同程度の枠組みの歪曲を許す理由があるだろうか？

記者は私に、「未来は『2001年宇宙の旅』のようになる」とは言わない。だが、「未来は『2001年宇宙の旅』のようになりますか、それとも『A.I.』のようになりますか？」と聞く。これは「障害のある退役軍人の給付を削るべきか、それとも富裕層を増税すべきか？」と聞くのと同じくらい、大きな枠組みの問題だ。

祖先の環境には動く映像がなく、自分の目で見たものは本当だった。一語をちらりと見るだけでも、私たちはプライミングされ、それに合う考えが思い浮かびやすくなる。確率の見積もりに強く影響することも、実証されている。2時間の映画は、判断にどれほどの混乱をもたらせると思うだろうか？　意識的に集中して害を取り除くのも十分難しいのに、なぜ吸血鬼を家へ招くのか？　チェスや囲碁では、無駄な一手はすべて損だ。合理性では、証拠によらない影響は、平均すればすべてエントロピーを増やす。

映画を見る人は、見たことを信じずに済ませているだろうか？　私にわかる限り、地球の未来を直接観察したかのように行動する観客は少ない。『ターミネーター』を見た人々は、1997年8月29日に核シェルターへ隠れたりしなかった。だが、この誤謬を犯す人々は、映画の出来事がどこか別の惑星で起きるのを見たかのように行動する。地球ではないが、地球に似たどこかで。

「とても賢いAIを作るとしましょう」と言うと、相手は「でも、『ターミネーター』では、それが核戦争を引き起こしませんでしたか？」と言う。私にわかる限り、それは声の調子まで、「でも、アルファ・ケンタウリでは、それが核戦争を引き起こしませんでしたか？」や「それで14世紀のイタリアの都市国家ピッコロは滅びたのでは？」という推論と同じだ。映画は信じられてはいないが、思い浮かぶ。予言ではなく、参考になる歴史上の事例として扱われる。歴史は繰り返すのだろうか？　誰にわかる？

最近、知能爆発を議論していたとき、ある人が、ヴィンジは脳とコンピューターのインターフェースで知能が大きく増すとは思っていないようだと言い、『マルーン・イン・リアルタイム（Marooned in Realtime）』と、最も進んだ旅人なのにそれほど強力には見えなかったトゥンチ・ブルーメンタールを挙げた。私はむっとして答えた。「でも、トゥンチはハードウェアの大半を失っていた！　能力を奪われていたんだ！」。そして一瞬考え直し、こう思った。私はいったい何を言っているんだ。

ヴィンジが人物をどう描いたかとは無関係に、問題そのものを論じなければならないのではないか？　トゥンチ・ブルーメンタールは「能力を奪われた」のではなく、実在しない。「ヴィンジは、本人の最良の予測と関係があったかもしれないし、なかったかもしれない理由から、トゥンチを能力を奪われた人物として描くことを選んだ」とは言える。それなら作者の選択に適切な証拠の重みを与えることになる。だが、「トゥンチは能力を奪われていた」とは言えない。トゥンチ・ブルーメンタールに、『そうだった』という事実はない。

このエッセイの冒頭の初稿で犯した間違いを、私はわざと残した。「例を使うことを擁護し、誤謬ではないと反論する人もいる」。だが、『マトリックス』は例ではない！

近いところに、想像上の証拠から論じるという論理的誤謬もある。「もし本当に虹の端へ行ったなら、金の壺が見つかるはずだ。それで私の言ったことは証明される！」。（予測はしたが観察していない証拠によって更新することは、数学的には後知恵バイアスの鏡像だ。）

脳には、観察から一般化する仕組みが、利用可能性ヒューリスティック以外にもたくさんある。シマウマを3頭見ると、「シマウマ」というカテゴリーができ、そのカテゴリーは自動的な知覚上の推論を体現する。白黒の縞模様がある馬の形の生き物は「シマウマ」に分類され、したがって速く、食べるとおいしい。観察したほかのシマウマと似ていると予想される。

だから、人が3体のボーグの動く映像を見ると、脳は自動的に「ボーグ」というカテゴリーを作る。そして、脳とコンピューターを接続した人間は「ボーグ」類であり、観察したほかのボーグと似ている——冷淡で、思いやりがなく、黒い革をまとい、重い機械的な足取りで歩く——と自動的に推論する。記者は、未来にボーグがいるだろうと信じてはいない。『スター・トレック』が予言だとは思っていない。だが脳とコンピューターのインターフェースの話を聞くと、「未来にボーグはいるだろうか？」と考える。「コンピューターに助けられたテレパシーが、人を不親切にすると、どうしてわかるのか？」ではない。「私はボーグを見たことがないし、ほかの誰も見たことはない」でもない。「文字どおり証拠ゼロで、人種的なステレオタイプを作っている」でもない。

ジョージ・オーウェルは、決まり文句についてこう述べた。²

何より必要なのは、意味に言葉を選ばせ、その逆にしないことだ……。抽象的な何かを考えるときには、最初から言葉を使いがちだ。そして意識して防ごうとしなければ、既存の言葉遣いが押し寄せ、代わりに仕事をしてくれる。引き換えに、意味をぼかし、さらには変えてしまう。

だが私の考えでは、ほかの作者の想像を使うことの最も有害な点は、自分の想像を使わなくなることだ。ロバート・パーシグが言ったように。³

彼が初日、あらかじめ話そうと決めたことを繰り返そうとしていたように、彼女も書くときに、すでに聞いたことを繰り返そうとして行き詰まっていた。ボーズマンについて書くことを思いつけなかったのは、聞いた話のうち、繰り返す価値のあるものを思い出せなかったからだ。不思議なことに彼女は、これまでに語られたことを第一に気にかけなくても、書きながら、自分の目で新たに見いだせるのだと気づいていなかった。

記憶した物語が押し寄せ、代わりに考えてくれる。自分で見ることに取って代わる。あらゆる便利さの中で、最も致命的なものだ。