架空の証拠から一般化する論理的誤謬

❦

高度なAIという話題を持ち出そうとすると、半分を超える割合で最初に聞かされるのは何だろうか？

「ああ、ターミネーターの映画とか、マトリックスとか、アシモフのロボットみたいなものですね！」

そこで私は答える。「いや、正確には違う。私は、架空の証拠から一般化するという論理的誤謬を避けるようにしている」

すぐに意味を理解して笑う人もいる。誤謬ではないと反論し、例を使ったことを擁護する人もいる。

映画や小説を議論の出発点にすることの何が問題なのか？　結局、それが真実だと主張している人はいない。嘘はどこにあり、合理主義者としての罪はどこにあるのか？　サイエンス・フィクションは、作者が未来を思い描こうとした試みである。最初からやり直す代わりに、私たちのためすでになされた思考を利用してはならない理由があるだろうか？

合理性という精密な舞踏における誤った足運びのすべてが、偽りをあからさまに信じることから成るわけではない。誤る仕方には、もっと微妙なものもある。

まず、サイエンス・フィクションが未来を予測するための本格的で合理的な試みだ、という考えを片づけよう。最も勤勉なSF作家でさえ、何よりもまず物語作家である。物語を作るための要件は、予測するための要件と同じではない。ニック・ボストロムが指摘している。¹

人類が突然絶滅する（警告もなく、別の文明に取って代わられることもなく）映画を、最後に見たのはいつだろうか？　このシナリオは、人間の英雄たちが怪物やロボット戦士の侵略を撃退するシナリオより、はるかに起こりやすいかもしれない。しかし観てもあまり楽しくはないだろう。

したがって、フィクションには固有の歪みがある。しかし、そうした特定の歪みを補正しようとするだけでは不十分である。物語は、最も勤勉なSF作家によるものでさえ、分析を目指す合理的な試みには決してならない。物語は確率分布を使わないからだ。例を示そう。

ボブ・マーケルサッドは異星人の宇宙船の扉を慎重にすり抜け、恐るべき宇宙怪物がまだ残っていないか確かめるため、右を見てから左を見た（あるいは左を見てから右を見た）。傍らには、宇宙怪物へ有効だと分かった唯一の武器があった。それは30％の確率で純チタンから鍛えられた宇宙剣であり、20％の確率で普通の鉄製バールであり、45％の確率で煙を上げるストーンヘンジの廃墟から見つかった、きらめく黒い円盤であった。残る5％は、ここへ列挙するには細かすぎる多数の結果へ分配されていた。

マーケルサッド（ただし、代わりにスーザン・ウィッフルフーファーがいた可能性もかなりある）が二歩前進、または一歩後退したそのとき、巨大な咆哮が黒いエアロックの静寂を切り裂いた！　あるいは、白いエアロックの静かな背景音を！　アムファーとウーフィ（1997年）は、ここでマーケルサッドが食い殺されると論じる。一方、スパックルバクル（2003年）が指摘するところでは――

登場人物は無知でもよいが、作者は「分からない」という魔法の三語を言えない。主人公は未来の中を一本の線に沿って進まなければならず、その線は、ウィッフルフーファーが未来の人物らしく抱くフェミニズムへの態度から、イヤリングの色に至るまで、物語へ肉づけする細部で満ちている。

そして、こうした負担の大きい細部や疑わしい仮定をすべて包み、短いラベルを付けることで、それらが一個のパッケージだという錯覚を生む。

答えの空間が大きい問題では、最大の難関は正しい答えを検証することではなく、まず答えの空間でそれを見つけることそのものである。誰かが、マトリックスのようにAIが私たちをカプセルへ詰め込むかどうか、という問いから始めたなら、明示的に検討する価値がある可能性として答えの空間内へ位置づけるための98ビットの証拠もないまま、100ビットの命題へ飛びついている。最初の98ビットを得た後なら、ほんの一握りの証拠を足すだけで、その可能性はほぼ確実なものへ昇格する。このことから、作業のほとんどすべてがどこで行われるか分かるだろう。

明示的に検討する価値のある可能性を見つけるという「予備的」段階には、次のような手順が含まれる。自分が何を知り、何を知らないか、何を予測でき、何を予測できないかを比較考量する。不条理バイアスを避けて信頼区間を広げるよう意識的に努める。どの問いが重要なのか熟考する。起こりうるブラック・スワンを補正し、（かつては）未知の未知だったものを考えようとする。「マトリックス：イエスかノーか？」へ飛びつくことは、これらをすべて飛ばしてしまう。

議論の条件を支配することは、議論の結末を支配することとほとんど同じだと、プロの交渉人なら誰でも知っている。マトリックスを考えるところから始めれば、長い戦いの末、進軍するロボット軍が人間を打ち負かす光景が思い浮かぶ。超知能がナノテクノロジーの指をぱちりと鳴らす光景ではない。焦点は「私たち対彼ら」の戦いに置かれ、「誰が勝つのか？」「誰が勝つべきか？」「AIは本当にあのようになるのか？」といった問いへ注意が向く。そして「あなたの驚くべき未来像は何ですか？」という娯楽的な雰囲気全般を作り出す。

反響する空虚の中で失われるのは、次のような事柄である。「人工知能」が実装しうる心の設計は一種類ではないという考察。未来が初期条件に依存するということ。人間より賢い知能の力と、それが予測不能であるという議論。人々が問題全体を真剣に受け止め、何かをしようとすること。

議論を陰険に腐敗させようとする誰かが、参加者にまずターミネーターへの反論から始めさせれば自分たちの望む結末に最も都合がよい、と判断したのなら、枠組みを歪めることには大いに成功している。銃規制を論じるとき、全米ライフル協会の広報担当者は「銃撃狂」と紹介されたくないし、銃規制に反対する相手は「被害者の武装解除を唱える者」と紹介されたくない。ハリウッドの脚本家が、たとえ偶然にせよ、同程度に枠組みを歪めることを、なぜ許さなければならないのか？

ジャーナリストは私に、「未来は2001年宇宙の旅のようになる」とは言わない。しかし、「未来は2001年宇宙の旅のようになりますか、それともA.I.のようになりますか？」と尋ねる。これは、「障害を負った退役軍人への給付を削るべきか、それとも富裕層への増税をすべきか？」と問うのと同じほど巨大なフレーミングの問題である。

祖先環境には動画がなかった。自分の目で見たものは真実だった。たった一語を一瞬見ただけでも、私たちはプライミングされ、整合する思考がいっそう利用可能になり、確率の推定へ強い影響を及ぼすことが実証されている。二時間の映画は、あなたの判断をどれほど荒らしうると思うだろうか？　意識的に集中して損傷を取り消すだけでも十分に難しいのに、なぜ吸血鬼を自宅へ招き入れるのか？　チェスや囲碁では、無駄な一手はすべて損失である。合理性において、証拠に由来しない影響はどれも（平均すれば）エントロピーを増す。

映画の観客は、見たものを信じないようにすることへ成功しているだろうか？　私が見る限り、地球の未来を直接観察したかのように振る舞う映画観客はほとんどいない。ターミネーターの映画を見た人々は、1997年8月29日に核シェルターへ隠れたりしなかった。しかしこの誤謬を犯す人々は、映画の出来事をどこか別の惑星で見たかのように振る舞うらしい。地球ではないが、どこか地球に似た場所である。

あなたが「とても賢いAIを作ったとしよう」と言うと、相手は「でも、それはターミネーターで核戦争へつながらなかったか？」と言う。私が見る限り、その推論は声の調子に至るまで、次のように言う人の推論と同じである。「でも、それはアルファ・ケンタウリで核戦争へつながらなかったか？」あるいは「それは14世紀、イタリアの都市国家ピッコロの崩壊へつながらなかったか？」映画は信じられてはいないが、利用可能になっている。予言としてではなく、分かりやすい歴史上の事例として扱われる。歴史は繰り返すのだろうか？　誰にも分からない。

最近の知能爆発についての議論で、ある人が、ヴィンジはブレイン・コンピュータ・インターフェースが知能を大きく高めるとは考えていなかったようだ、と述べた。そしてMarooned in Realtimeと、その中で最も進歩した時代から来た旅行者なのに、それほど強力には見えなかったトゥンチ・ブルーメンタールを引き合いに出した。私は憤然として答えた。「だがトゥンチはハードウェアの大半を失っていた！　彼は機能を損なわれていたんだ！」そこで頭の中で、はっと振り返るように思った。私はいったい何を言っているんだ。

ヴィンジが登場人物をどう描いたかにかかわらず、この問題はそれ自体の根拠によって論じる必要があるのではないか？　トゥンチ・ブルーメンタールは「機能を損なわれて」などいない。彼は実在しない。「ヴィンジはトゥンチを機能の損なわれた人物として描くことを選んだ。その理由は、彼個人の最善の予測と関係していたかもしれないし、していなかったかもしれない」となら言える。それなら作者の選択へ、証拠として適切な重みを与えられる。「トゥンチは機能を損なわれていた」とは言えない。トゥンチ・ブルーメンタールに「そうだった」という事実は存在しない。

この文章の冒頭を最初に書いたときの誤りを、私は意図的に残しておいた。「誤謬ではないと反論し、例を使ったことを擁護する人もいる」。しかしマトリックスは例ではない！

隣接する欠陥として、想像上の証拠から論じるという論理的誤謬がある。「まあ、もし虹の端まで行ったなら、金貨の壺を見つけるはずだ――まさに私の主張が正しい証拠だ！」（予測したが観察されていない証拠に基づいて更新することは、数学上、後知恵バイアスの鏡像である。）

脳には、観察から一般化する仕組みが、利用可能性ヒューリスティックのほかにも多数ある。シマウマを三頭見ると、「シマウマ」というカテゴリーを作り、このカテゴリーが自動的な知覚上の推論を体現する。馬の形をして白黒の縞模様を持つ生き物は「シマウマ」に分類される。したがって速く走り、食べるとうまい。それまで観察したほかのシマウマと似ていると予想される。

同じように、人々が三体のボーグを（動画で）見ると、脳は自動的に「ボーグ」というカテゴリーを作る。そしてブレイン・コンピュータ・インターフェースを備えた人間は「ボーグ」級に属し、観察したほかのボーグと似ると自動的に推論する。冷たく、思いやりがなく、黒い革をまとい、重い機械の足取りで歩く。ジャーナリストは、未来にボーグが現れると信じてはいない。スタートレックを予言だと信じてはいない。しかし誰かがブレイン・コンピュータ・インターフェースについて話すと、「未来にボーグは現れるか？」と考える。「コンピュータ支援テレパシーによって人が不親切になると、なぜ分かるのか？」ではない。「私はボーグを一度も見ていないし、ほかの誰も見たことがない」でもない。「私は文字どおり証拠ゼロに基づいて、人種的ステレオタイプを形成している」でもない。

ジョージ・オーウェルが、決まり文句について述べたように、²

何より必要なのは、言葉に意味を選ばせるのではなく、意味に言葉を選ばせることである……。抽象的な何かを考えるとき、人は最初から言葉を使いがちになる。それを防ごうと意識的に努めないかぎり、既存の言い回しが駆け込んできて、あなたの代わりに仕事をしてしまう。その代償として、意味はぼやけ、あるいは変えられさえする。

しかし私の見るところ、ほかの作者の想像力を使うことの最も有害な面は、人々が自分の想像力を使わなくなることにある。ロバート・パーシグが述べたように、³

彼女が行き詰まったのは、彼が初日にあらかじめ言おうと決めたことを繰り返そうとしたのと同じように、それまで聞いたことを文章の中で繰り返そうとしていたからだった。ボーズマンについて書くことを思いつけなかったのは、繰り返す価値があると聞いた何かを、思い出せなかったからである。以前に何が言われたかを第一に気にかけず、書きながら自分で新たに見て、目にしたものを捉えられることに、彼女は不思議なほど気づいていなかった。

記憶にあるフィクションが駆け込んできて、あなたの代わりに考える。それは自分の目で見ることの代用品となる――あらゆる便利さの中で最も致命的なものだ。