偽の因果

❦

フロギストンは、ギリシャの錬金術師が唱えた元素としての火に対する、18世紀の答えであった。木に火をつけ、燃えるにまかせる。橙色に輝く「火」という物質は何なのか。なぜ木は灰に変わるのか。どちらの問いにも、18世紀の化学者は「フロギストン」と答えた。

……そう、それでおしまいだった。それが彼らの答えだった。「フロギストン」

フロギストンは、燃える物質から目に見える火となって逃げ出す。フロギストンが逃げ出すにつれ、燃えている物質はフロギストンを失い、「真の物質」である灰になる。密閉容器の中で炎が消えるのは、空気がフロギストンで飽和し、それ以上保持できなくなるからである。木炭を燃やしても残留物がほとんど残らないのは、木炭がほぼ純粋なフロギストンだからである。

もちろん、化学変化の結果を予測するためにフロギストン説を使ったのではない。まず結果を見て、その後で、それを説明するためにフロギストン説を使った。フロギストン説の支持者が、密閉容器の中で炎が消えると予測したわけではない。容器の中で炎をつけ、それが消えるのを見てから、「空気がフロギストンで飽和したに違いない」と言ったのである。フロギストン説を使って、何を見るはずがないかを言うことさえできなかった。それは何でも説明できた。

これは科学の初期の時代だった。長い間、誰も問題があると気づかなかった。偽の説明は、偽物だと感じられない。それゆえ危険なのである。

現代の研究によれば、人間はベイジアンネットワークの有向非巡回グラフ（DAG）に似たものを用いて因果を考えている。雨が降ったから、歩道が濡れている。歩道が濡れているから、滑りやすい。

ここから、歩道が滑りやすければ、おそらく雨が降ったのだと推論できる――ベイジアンネットワークなら、確率として厳密に計算できる。しかし歩道が濡れているとすでに知っているなら、歩道が滑りやすいと知っても、雨が降ったかどうかについて新しい情報は何も得られない。

火は燃えると、なぜ熱く明るくなるのか。

説明のように感じられる。同じ認知的データ形式を使って表現されている。しかし人間の心は、原因から結果へ伸びる矢印が、結果を何も制約していないとき、それを自動的には検出しない。さらに悪いことに、後知恵バイアスのせいで、原因が結果を制約しているように感じられることさえある。実際には、原因が結果へただ後づけされただけなのに。

興味深いことに、因果についての確率的推論に関する私たちの現代的理解は、フロギストン説の支持者が何を誤っていたのかを正確に記述できる。ベイジアンネットワークの主要な着想の一つは、推論が結果と原因の間で反響すると、証拠を二重に数える問題が生じると気づいたことだった。たとえば、歩道が濡れているという、いくらか信頼性の低い情報を得たとしよう。すると、雨が降っている可能性をより高く考えるべきである。しかし雨が降っている可能性がより高いなら、歩道が濡れている可能性もより高くなるのではないか。そしてそれなら、歩道が滑りやすい可能性もより高くなるのではないか。しかし歩道が滑りやすければ、おそらく濡れている。そうすれば、雨が降っている確率をまた引き上げるべきで……。

ジューディア・パールは、列に並ぶ兵士を数えるアルゴリズムという比喩を用いている。¹自分も列の中にいて、すぐ隣に二人の兵士、一人は前、一人は後ろにいるのが見えるとしよう。自分を含めて三人である。そこで後ろの兵士に、「君には何人の兵士が見える？」と尋ねる。彼らは周囲を見回して「三人」と答える。だから合計六人である。言うまでもなく、これは正しい数え方ではない。

もっと賢いやり方は、前の兵士には「君より前には何人いる？」と尋ね、後ろの兵士には「君より後ろには何人いる？」と尋ねることである。「前に何人？」という問いなら、混乱なしにメッセージとして伝えていける。私が列の先頭なら、自分自身を数えて「前方に兵士1人」というメッセージを渡す。私のすぐ後ろの人は「前方に兵士1人」というメッセージを受け取り、その後ろの兵士へ「前方に兵士2人」というメッセージを渡す。同時に各兵士は、後ろの兵士から「後方に兵士N人」というメッセージも受け取り、前の兵士へ「後方に兵士N + 1人」として渡す。兵士は全部で何人いるか。受け取った二つの数を足し、自分の分として1を加える。それが列にいる兵士の総数である。

肝心なのは、各兵士が二つのメッセージ、前方メッセージと後方メッセージを別々に追跡し、最後になって初めて足し合わせなければならないということだ。受け取った後方メッセージの兵士を、後方へ渡す前方メッセージに決して加えてはならない。実際、兵士の総数がメッセージとして渡されることはない――誰もそれを声に出して言うことはない。

因果についての厳密な確率的推論では、これと同じ原理が働く。歩道が濡れているのを観察する以外の何らかの情報源から、雨が降っているかどうかについて何かを知れば、雨から濡れた歩道へ前方メッセージが送られ、歩道が濡れているという期待が高まる。歩道が濡れているのを観察すれば、雨が降っているという信念へ後方メッセージが送られ、このメッセージは雨から、例外となる濡れた歩道ノードを除く隣接ノードすべてに伝播する。証拠の一つ一つを、ちょうど一度だけ数える。更新メッセージが前後に「跳ね返る」ことはない。正確なアルゴリズムは、ジューディア・パールの古典Probabilistic Reasoning in Intelligent Systems: Networks of Plausible Inferenceに記されている。

では、フロギストン説では何が誤っていたのか。火が熱いことを観察すると、火ノードからフロギストンノードへ後方証拠を送り、フロギストンについての信念を更新できる。しかし、そうするなら、これをフロギストン説による前方予測の成功として数えることはできない。メッセージは一方向にだけ進み、跳ね返ってはならない。

残念ながら、人間は信念ネットワークを更新する厳密なアルゴリズムを使っていない。子ノードを観察して親ノードについて学び、親についての信念から子ノードを予測する。しかし、後方メッセージと前方メッセージを厳密に別帳簿で管理しない。私たちはただ、フロギストンは熱く、それが火を熱くするのだと記憶する。だから、フロギストン説は火の熱さを予測するように見える。あるいは、さらに悪いことに、フロギストンが火を熱くするようにただ感じられる。

事前の予測が何もなされていないことに気づくまで、制約を与えない因果ノードに「偽物」というラベルはつかない。それは信念ネットワーク内のほかのどのノードとも同じように表現される。知っているほかのすべての事実と同じく、事実のように感じられる。フロギストンが火を熱くする。

適切に設計されたAIなら、問題に即座に気づくだろう。専用のコードすら必要なく、信念ネットワークを正しく記帳するだけでよい。（悲しいことに、適切に設計されたAIのように、私たち人間は自分自身のコードを書き直せない。）

「後知恵バイアス」と言うのは、人間は前方メッセージと後方メッセージを厳密に分離しておらず、前方メッセージが後方メッセージに汚染されるのを許している、ということを非専門的に表現しただけである。

はるか昔にフロギストンの道へ踏み込んだ人々も、愚か者になろうとしていたのではない。袋小路にはまりたいと故意に望む科学者はいない。あなたの心にも、偽の説明はあるだろうか。もしあるなら、それに「偽の説明」というラベルがついていないことは保証できる。したがって、自分の思考から「偽」というキーワードを検索しても見つからない。

後知恵バイアスがあるため、すでに知っている事実を自分の理論がどれだけうまく「予測する」か確かめるだけでも不十分である。昨日ではなく明日を予測しなければならない。それが、雑然とした人間の心でも、純粋な前方メッセージを送ったと保証できる唯一の方法である。