見せかけの因果関係

❦

フロギストンは、ギリシャの錬金術師が考えた、元素としての火に対する18世紀の答えだった。木に火をつけ、燃やしてみよう。オレンジ色に明るく輝く「火」というものは、何なのか。なぜ木は灰に変わるのか。18世紀の化学者は、どちらの問いにも「フロギストン」と答えた。

……それだけだった。おわかりだろうか、彼らの答えはそれだけだったのだ。「フロギストン」。

フロギストンは、目に見える火となって燃焼する物質から逃げ出す。フロギストンが逃げ出すと、燃焼している物質はそれを失い、「真の物質」である灰になる。密閉容器の中で炎が消えるのは、空気がフロギストンで飽和し、それ以上保持できなくなるからだ。木炭が燃えたあとにほとんど何も残らないのは、ほぼ純粋なフロギストンだからだ。

もちろん、化学変化の結果を予測するためにフロギストン説を使うわけではなかった。まず結果を見て、それからフロギストン説で説明するのだ。フロギストン論者が、密閉容器では炎が消えると予測したのではない。容器の中で火をつけ、消えるのを見てから、「空気がフロギストンで飽和したに違いない」と言ったのだ。フロギストン説は、何が観察されてはいけないのかを述べることにすら使えなかった。何でも説明できたからだ。

これは科学の初期の時代だった。長い間、誰も問題があるとは気づかなかった。偽物の説明も、偽物だとは感じられない。だから危険なのだ。

現代の研究によれば、人間はベイズネットの有向非巡回グラフ（DAG）のようなものを使って、原因と結果を考えているらしい。雨が降ったから歩道が濡れている。歩道が濡れているから滑りやすい。

ここから、歩道が滑りやすければ、おそらく雨が降ったと推論できる。ベイズネットなら、確率として厳密に計算できる。だが、歩道が濡れていることをすでに知っている場合には、滑りやすいとわかっても、雨が降ったかどうかについてそれ以上の情報は得られない。

火が燃えるとき、なぜ熱く、明るいのか。

説明のように感じられる。同じ認知的データ形式で表現されている。だが人間の心は、原因から結果へ向かう矢印が、結果を何も制約していないことを、自動では検出しない。さらに悪いことに、後知恵バイアスのせいで、単に結果に合わせて作っただけなのに、原因が結果を制約しているように感じられることもある。

興味深いことに、因果関係についての確率的推論に関する現代の理解を使えば、フロギストン論者が何を間違えたのか、正確に記述できる。ベイジアンネットワークを生んだ主な着想の一つは、結果と原因の間で推論が反響すると、証拠を二重に数えてしまうという問題に気づいたことだった。たとえば、歩道が濡れているという、少し当てにならない情報を得たとしよう。これによって、雨が降っている可能性は高くなるはずだ。だが、雨の可能性が高くなれば、歩道が濡れている可能性も高くならないか。そしてそれなら、歩道が滑りやすい可能性も高くなるのではないか。だが歩道が滑りやすければ、おそらく濡れている。すると、雨が降っている確率をもう一度上げるべきでは……。

ジューディア・パールは、一列に並ぶ兵士の人数を数えるアルゴリズムを、たとえに使う。¹自分もその列にいて、前と後ろに一人ずつ、計二人の兵士が見えるとしよう。自分も入れれば三人だ。そこで後ろの兵士に、「あなたには何人見える？」と尋ねる。その人は周囲を見て「三人」と答える。では合計六人だ。明らかに、これは正しいやり方ではない。

もっと賢いやり方は、前の兵士に「あなたから前には何人いる？」、後ろの兵士に「あなたから後ろには何人いる？」と尋ねることだ。「前には何人？」という問いなら、混乱なくメッセージとして伝えていける。私が先頭なら、自分の分として「前に一人」というメッセージを送る。すぐ後ろの人は「前に一人」を受け取り、自分の後ろの兵士に「前に二人」と伝える。同時に各兵士は、後ろの兵士から「後ろにN人」というメッセージも受け取り、前の兵士に「後ろにN + 1人」と伝える。全体では何人いるだろう。受け取った二つの数を足し、自分の分の一人を加えればよい。それが列の兵士の総数だ。

大事なのは、各兵士が、前からのメッセージと後ろからのメッセージを別々に管理し、最後にだけ足し合わせなければならないということだ。後ろから受け取ったメッセージの人数を、前の人数として後ろへ送るメッセージに足してはいけない。実際、兵士の総数をメッセージとして伝えることは一度もない。誰も総数を声に出さないのだ。

因果関係についての厳密な確率的推論にも、これと似た原則が働く。歩道が濡れているという観察以外の情報源から、雨が降っているかどうかについて何かを知ると、雨から歩道が濡れているへ順方向のメッセージが送られ、歩道が濡れているだろうという予想が強まる。歩道が濡れていると観察すると、雨が降っているという信念に逆方向のメッセージが送られる。このメッセージは、雨から、歩道が濡れているの節点以外のすべての隣接節点に伝わる。証拠は一つにつき、ちょうど一回だけ数える。更新のメッセージが往復して「跳ね返る」ことは決してない。正確なアルゴリズムは、ジューディア・パールの古典的著作Probabilistic Reasoning in Intelligent Systems: Networks of Plausible Inferenceで読める。

では、フロギストン説では何を間違えたのか。火が熱いと観察すると、火の節点からフロギストンの節点へ逆方向に証拠を送り、フロギストンについての信念を更新できる。だが、そうしたのなら、これをフロギストン説による順方向の予測の成功として数えてはいけない。メッセージは一方向にだけ進み、戻ってきてはいけないのだ。

残念ながら、人間は信念のネットワークを更新するのに、厳密なアルゴリズムを使っていない。子の節点を観察して親の節点について学び、親についての信念から子の節点を予測する。だが、逆方向のメッセージと順方向のメッセージを、厳密に別帳簿で管理してはいない。ただ、フロギストンは熱く、それが火を熱くする原因だと覚えている。だから、フロギストン説が火の熱さを予測しているように思える。さらに悪ければ、フロギストンが火を熱くしていると、ただ感じるだけだ。

事前の予測がまったく行われていないと気づくまでは、何も制約しない原因の節点に「偽物」のラベルはつかない。それは信念のネットワークの他の節点と同じように表現されている。自分が知る他のあらゆる事実と同じく、一つの事実のように感じられる。フロギストンは火を熱くする。

適切に設計されたAIなら、この問題には即座に気づくだろう。専用のコードさえ必要ない。信念のネットワークを正しく帳簿管理するだけでよい。（悲しいことに、私たち人間は、適切に設計されたAIのように、自分のコードを書き換えられない。）

「後知恵バイアス」と呼ぶのは、人間が順方向と逆方向のメッセージを厳密に分けておらず、順方向のメッセージに逆方向のものが混じってしまう、と専門用語を使わずに言っているだけだ。

遠い昔にフロギストンの道へ進んだ人々は、愚かになろうとしていたわけではない。どの科学者も、わざわざ袋小路にはまりたいとは思わない。あなたの心の中には、偽物の説明はないだろうか。もしあるなら、そこに「偽物の説明」とラベルがついていないことは、私が保証する。だから、思考の中を「偽物」というキーワードで探しても、見つからない。

後知恵バイアスがあるので、自分の理論が、すでに知っている事実をどれほどうまく「予測」するか確かめるだけでも足りない。昨日ではなく、明日を予測しなければならない。それが、ごちゃごちゃした人間の心で、純粋な順方向のメッセージを送ることを保証できる唯一の方法だ。