❦
合理性は、ある層では単純だと期待すべきだろうか？ 信じる技法と選ぶ技法の根底にある美を探し、期待すべきだろうか？
偉大な故ベイズ師、E・T・ジェインズの不満を借りて、この問題を紹介しよう。1
二人の医学研究者が、別々の病院で、互いに独立して同じ治療法を用いる。どちらもデータを捏造するほど身を落としはしないが、一人は資源が有限なので、その時点で何人が治癒していようと、n = 100人の患者を治療したところでやめると、あらかじめ決めていた。もう一人は治療の有効性に自分の評判を賭け、必要な患者数が何人になろうとも、治癒率が明確に60%を超えたことを示すデータを得るまではやめないと決めていた。ところが実際には、二人ともまったく同じデータ、すなわち n = 100［患者］、r = 70［治癒］で実験を終えた。このとき二つの実験から異なる結論を引き出すべきだろうか？」［おそらく二つの対照群も同じ結果だったとする。］
Cyanは、この問題をより詳しく説明する第37章——オンラインで無料公開されているMacKayの優れた統計学書の一章——を案内してくれている。2
古風な統計手続き――現在も教えられていると私は思う――によれば、二人の研究者は異なる停止条件のもとで異なる実験を行ったことになる。二つの実験は異なるデータで終了する可能性があったため、仮説に対する異なる検定を表し、異なる統計分析を必要とする。最初の実験は「統計的に有意」だが、二番目はそうでないということも十分ありうる。
これに困惑するかどうかは、確率論に対する、ひいては合理性そのものに対する、あなたの態度をよく物語る。
非ベイズ統計学者は肩をすくめて言うかもしれない。「まあ、すべての統計的道具に同じ長所と短所があるわけではないからね――金槌はねじ回しとは違う――異なる統計的道具を使えば異なる結果が出ることもある。同じデータを使って線形回帰を計算するか、正則化したニューラルネットワークを訓練するかで違うのと同じだ。状況に合った道具を使わなくては。人生は雑然としている――」
そこへベイズ主義者が答える。「何ですって？ 固定された実験方法が同じデータを生んだとき、その証拠としての効力が研究者の胸の内に左右されると？ それでよくも私たちを『主観的すぎる』と非難できたものだ！」
自然がある状態なら、観察したとおりのデータが出る尤度はある値になる。自然が別の状態なら、そのデータが出る尤度は別の値になる。しかし、自然のある状態が観察済みのデータを生み出す尤度は、研究者の内心の意図とは何の関係もない。したがって自然についてどんな仮説を立てようとも、二つの実験で尤度比は同じ、証拠としての効力は同じ、事後信念も同じであるべきだ。二つの旧式手法が異なる答えに至るなら、少なくとも一方は関係する情報を捨てている――あるいは単に、間違った計算をしている――はずである。
ベイズ主義者と呪わしき頻度主義者との古来の戦争は何十年にもわたるが、このエッセイでその古い歴史を語り直すつもりはない。
しかし中心的な対立の一つは、ベイズ主義者が確率論は……何という言葉を探しているのだろう？ 「整然としている」？ 「すっきりしている」？ 「自己整合的である」？ と期待する点にある。
ジェインズが言うように、ベイズ確率論の定理はまさに、首尾一貫した証明体系における定理である。どんな導出をどんな順番で使おうと、ベイズ確率論の結果は常に整合するはずであり、どの定理もほかのすべての定理と両立する。
10+10の和を知りたければ、それを (2 × 5) + (7 + 3) と定義し直しても、(2 × (4 + 6)) としても、好きなだけ別の合法的な技巧を使ってもよい。だが結果は常に同じ、この場合は20にならなければならない。一方のやり方では20、もう一方では19になるなら、少なくとも一方で何か違法なことをしたと結論できる。（算術での違法操作はたいていゼロ除算であり、確率論ではたいてい、有限過程の極限として取られなかった無限大である。）
19 = 20という結果が出たなら、自分がたった今犯した誤りを懸命に探すべきだ。算術そのものを煙にしてしまった可能性は低い。もし誰かが、同じ結果を生む同じ実験方法から二つの異なる証拠としての効力を導くといった、本物の矛盾をベイズ確率論から導くことに成功したなら、体系全体が煙と消える。集合論も一緒にだ。ZFは確率論のモデルを与えると、私はかなり確信しているからである。
数学！ 私が探していた言葉はそれだ。ベイズ主義者は確率論が数学であることを期待する。だからこそ私たちは、一定の制約に従う不確実性の表現は必ず確率論に写像されると示す、コックスの定理とその多数の拡張に関心を持つ。首尾一貫した数学は素晴らしいが、一意な数学ならなおよい。
だが……合理性は数学であるべきなのだろうか？ 確率が美しいはずだと初めから決まっているわけでは決してない。現実世界は雑然としている――ならば、それを扱うには雑然とした推論が必要ではないか？ 膨大な場当たり的手法と場当たり的正当化を持つ非ベイズ統計学者のほうが、道具箱が厳密に大きいぶん、厳密に有能なのかもしれない。問題が整然としていればよいが、たいていはそうではない。それを受け入れて生きなければならない。
結局、多くの問題にはベイズ的方法を使えないことはよく知られている。ベイズ計算が計算困難だからだ。ならば百花斉放でよいではないか。道具箱に複数の道具を入れてはなぜいけない？
これこそ考え方の根本的な違いである。旧派の統計学者は道具、すなわち個別の問題に投じる技巧という観点で考えた。ベイズ主義者――少なくともこのベイズ主義者は、自分だけを代表しているとは思わないが――は法則という観点で考える。
法則を探すことは、ことさら整然として美しい道具を探すこととは違う。熱力学第二法則は、ことさら整然として美しい冷蔵庫ではない。
カルノーサイクルは理想的な機関――実のところ、まさに理想の機関――である。二つの熱源で動く機関で、カルノー機関より効率のよいものはありえない。その系として、同じ熱源間で動作する熱力学的に可逆な機関はすべて同じ効率になる。
だがもちろん、現実の自動車を動かすのにカルノー機関を使うことはできない。現実の自動車のエンジンとカルノー機関の類似は、その自動車のタイヤと完全な転がる円柱との類似と同程度である。
したがって明らかに、カルノー機関は現実世界の自動車を作るための道具として役に立たない。熱力学第二法則は、明らかにここでは適用できない。現実世界でそれに従うエンジンを作るのは難しすぎる。熱力学など無視して、うまくいくものを何でも使えばよい。
旧い道に今も固執する者たちを支配しているのは、この種の混乱だと私は考えている。
確かに、問題について厳密なベイズ計算をいつでも実行できるわけではない。近似を求めなければならないこともある――実際、よくある。だからといって確率論の適用が終わるわけではない。それは、747の空気力学を原子一個ずつの水準で計算できないからといって、747が原子からできていないことにはならないのと同じである。どんな近似を使おうと、それが働くのは理想的なベイズ計算に近似する範囲であり、外れる範囲で失敗する。
ベイズ主義の整合性と一意性の証明は、両方向に切れる。コックスの整合性公理（またはその多数の再定式化と一般化）に従う計算はすべて確率に写像されなければならない。それと同様に、ベイズ的でないものは何であれ、整合性検査のいずれかに失敗しなければならない。その結果、ダッチブックを組まれる（確実に損をする賭けの組み合わせを受け入れたり、確実に得をする賭けの組み合わせを拒んだりする）といった罰を受けうる。
最適な答えを計算できないことはあるだろう。だが、どんな近似を使おうとも、その失敗も成功も、ベイズ確率論の観点から説明可能である。あなたが説明を知らないことから、説明が存在しないことにはならない。
ベイズ更新をする代わりに線形回帰を使いたい？ ならば線形回帰の根底にある構造を見れば、それがガウス尤度関数とパラメータ上の一様事前分布を前提として、最良の点推定を選ぶことに対応すると分かる。
実際によりうまく働くから、正則化線形回帰を使いたい？ それは重みにガウス事前分布を置くことに対応する、とベイズ主義者は言う。
ベイズ的方法を文字どおりには使えないこともある――実際、よくある。だが、利用可能な知識の最後の一片まで使う厳密なベイズ計算を実行できるなら、そこで終わりである。よりよい答えを生む統計手法は決して見つからない。ほぼ常に見事に働く安価な近似が見つかり、それは安上がりかもしれないが、より正確にはならない。別の手法が、おそらく偽装された事前情報という形で、ベイズ計算には入れさせていない知識を使っている場合を除けば。そしてその事前情報をベイズ計算へ入れれば、ベイズ計算が再び同等以上になる。
場当たり的な（ただし、しばしばかなり興味深い）正当化を持つ旧式の場当たり的な統計道具を使うとき、明日には誰かがさらに巧妙な道具を考え出すのではないかと、いつまでも分からない。だが、ベイズの法則を映す計算を直接使えるなら、そこで終わりである――自動車にカルノー熱機関を積めたようなものだ。俗に言う「ベイズ最適」である。
道具箱派は、立方数列 { 1, 8, 27, 64, 125, ... } を見て、一階差分 { 7, 19, 37, 61, ... } を指さし、「ほら、人生はいつもこんなに整然としてはいない。状況に適応しなくては」と言っているように私には思える。一方、ベイズ主義者は三階差分、根底にある安定した層 { 6, 6, 6, 6, 6, … } を指さす。すると批判者は言う。「いったい何の話だ？ 7, 19, 37であって、6, 6, 6ではない。この雑然とした問題を単純化しすぎている。単純さに執着しすぎだ」
表層の水準で単純とはかぎらない。安定性を見つけるには、それより深く潜らなければならない。
道具ではなく法則を考えよ。法則の近似を計算する必要があっても、法則は変わらない。飛行機は依然として原子でできており、空気力学計算のための自然界の特別な例外に支配されているわけではない。近似は領土ではなく地図の中に存在する。熱力学第二法則を知りながら、技術者として不完全な自動車エンジンを作ることに取り組める。第二法則の適用が終わるわけではない。その法則とカルノーサイクルについての知識は、理想的効率へ可能なかぎり近づく助けになる。
私たちがベイズ的方法に魅了されるのは、単に美しいからではない。美しさは副作用である。ベイズの定理が優美で、整合的で、最適で、しかも一意であると証明できるのは、それが法則だからである。