相互情報量とモノ空間における密度

❦

系Xが8つの状態のいずれかを取り、（現在の知識状態に照らして）どの状態も同じ確率であるとしよう。また、系Yが4つの状態のいずれかを取り、やはりどれも同じ確率であるとする。 合計 前のエッセイで定義したとおり、Xのエントロピーは3ビットである。Xの正確な状態を突き止めるには、3個のイエス・ノー質問をする必要がある。Yのエントロピーは2ビットであり、Yの正確な状態を突き止めるには2個のイエス・ノー質問をしなければならない。2³ = 8、2² = 4だから、3個の質問で8通りの可能性を、2個の質問で4通りの可能性を区別できるのは自明に思えるかもしれない。しかし、可能性がどれも同じ確率でなければ、もっと巧妙な符号を使って、たとえば平均1.75個の質問でYの状態を発見できることを思い出してほしい。ただしこの場合、Xの確率質量はすべての可能な状態に均等に分布しているし、Yも同様なので、巧妙な符号は使えない。

結合系(X,Y)のエントロピーはいくらだろうか。

「Xを突き止めるのに3個の質問が必要で、そのあとYを突き止めるのに2個必要だから、XとYの状態を突き止めるには合計5個の質問が必要だ」と答えたくなるかもしれない。

だが、二つの変数が絡み合っていて、Yの状態を知ることでXの状態について何かがわかるとしたらどうだろうか。

具体的には、XとYがともに奇数であるか、ともに偶数であるとしよう。

ここで3ビットのメッセージを受け取り（3個の質問をして）、Xが状態X₅にあるとわかったなら、Yは状態Y₁か状態Y₃にあり、状態Y₂にも状態Y₄にもないとわかる。そこで、「Yは状態Y₃にあるか？」という追加の質問を一つだけして「いいえ」という答えを得れば、(X,Y)の状態全体、すなわちX = X₅、Y = Y₁だとわかる。しかも、これを合計4個の質問で知ったのである。

逆に、二つの質問を使ってYが状態Y₄にあるとわかったなら、Xが状態X₂、X₄、X₆、X₈のどれにあるかを知るには、追加で二つの質問をするだけでよい。やはり、結合系の状態を知るのに四つの質問である。

二つの変数の相互情報量は、独立した系それぞれのエントロピーの和と、結合系のエントロピーとの差として定義される。I(X;Y) = H(X) + H(Y) − H(X,Y)である。

ここでは、二つの系の間に1ビットの相互情報量がある。Xを知ることでYについて1ビットの情報を得る（可能性の空間を4通りから2通りへ、体積にして2分の1に減らす）し、Yを知ることでXについて1ビットの情報を得る（可能性の空間を8通りから4通りへ減らす）。

確率質量が均等に分布していない場合はどうだろうか。たとえば前のエッセイでは、Yの四つの状態がそれぞれ1/2、1/4、1/8、1/8の確率を持つ場合を論じた。これを、Yを単独で考えたときの確率分布としよう――ほかには何も見ずにYを見たなら、これが目にすると予想する分布である。そして、変数Zには二つの状態Z₁とZ₂があり、それぞれの確率が3/8と5/8だとしよう。

このとき、YとZの同時分布が次のようになっている場合、かつその場合に限り、YとZの間の相互情報量はゼロである。

この分布は次の法則に従う。

P(Y,Z) = P(Y)P(Z) .

たとえば、P(Z₁Y₂) = P(Z₁)P(Y₂) = 3/8 × 1/4 = 3/32である。

また、同時分布を見るだけでYとZの周辺（個別）確率を復元できることに注目してほしい。

したがって、同時分布を調べるだけで、周辺変数YとZが独立かどうかを判断できる。すなわち、同時分布が周辺分布の積に分解できるか、あらゆるYとZについてP(Y,Z) = P(Y)P(Z)が成り立つかを判断できる。

この最後の点が重要なのは、ベイズの定理によって、次が成り立つからである。

言葉で言えば、「Z_jを知ったあとでも、Y_iについての信念は知る前とまったく同じである」ということだ。

したがって、分布が因数分解できるとき――P(Y,Z) = P(Y)P(Z)であるとき――これは、「Yについて知ってもZについて何もわからず、その逆も同様である」ことと同値である。

そこから正しく推測できるように、YとZの間に相互情報量はない。相互情報量がなければベイズ的証拠はなく、その逆もまた成り立つ。

上の分布(Y,Z)で、YとZの可能な組み合わせの一つひとつを別個の事象として扱ったとしよう。すると分布(Y,Z)には、示された確率を持つ合計8通りの可能性がある。そして、ほかのどんな分布のエントロピーを計算するときとも同じ方法で、分布(Y,Z)のエントロピーを計算したとしよう。

P(Z₁Y₁)log₂(P(Z₁Y₁)) + P(Z₁Y₂)log₂(P(Z₁Y₂)) +
P(Z₁Y₃)log₂(P(Z₁Y₃)) + … + P(Z₂Y₄)log₂(P(Z₂Y₄))

= (3/16)log₂(3/16) + (3/32)log₂(3/32) +
(3/64)log₂(3/64) + … + (5/64)log₂(5/64) .

得られる合計は、YのエントロピーとZのエントロピーを別々に計算して足したものと同じになる。二つの変数の間に相互情報量はないため、結合系についての不確実性は、二つの系を別々に考えたときの不確実性より小さくはない。（計算は示さないが、やってみてもらって構わない。また、これが一般に真であることの証明も示さないが、「シャノン・エントロピー」と「相互情報量」をGoogleで検索してもらって構わない。）

同時分布が因数分解できない場合はどうだろうか。たとえば、次のような場合である。

同時確率を足して周辺確率を求めれば、P(Y₁) = 1/2、P(Z₁) = 3/8などになるはずである――周辺確率は先ほどと同じである。

しかし、同時確率が周辺確率の積と常に等しいわけではない。たとえば、確率P(Z₁Y₂)は8/64に等しいが、P(Z₁)P(Y₂)なら3/8 × 1/4 = 6/64になる。つまり、Z₁とY₂に一緒に遭遇する確率は、Z₁またはY₂に個別に遭遇する確率から予想されるより高い。

これはさらに、次を含意する。

P(Z₁Y₂)には「異例に高い」確率――周辺確率がデフォルトで示すより高い確率、と定義される――があるので、Y₂を観察することはZ₁の確率を上げる証拠である。そして対称的な論証により、Z₁を観察することもY₂を支持するはずである。

Yの少なくとも一部の値がZについて何かを教えてくれる（そしてその逆も成り立つ）ため、二つの変数の間には相互情報量があるはずである。したがって(Y,Z)のエントロピーを計算すれば、YとZの個別のエントロピーの和よりも総不確実性が小さくなるはずだとわかるだろう――実際には確認していないが、私はそう確信している。すなわち、H(Y,Z) = H(Y) + H(Z) − I(Y;Z)であり、すべての量は必ず正である。

（ここで余談だが、相互情報量の式が対称であることから、平均すれば、YはZがYについて教えるのと同じだけ、必ずZについて教えることがわかる。すべてのカラスが黒いとしても、Raven(x) ⇒ Black(x)と推論してよいからといって、Black(x) ⇒ Raven(x)と推論してよいことにはならない、と論理学の授業で教わったかもしれない。それとこの事実をどう両立させるかは、読者への練習問題とする。論理の鋭い跳躍と比べて、ベイズ主義者の対称的な確率の流れはなんと異なって見えることか――後者は前者の退化した場合にすぎないというのに。）

「だが」とあなたは尋ねる。「この話すべてが、言葉を正しく使うことと何の関係があるのか？」

空のラベル、そして記号を実体で置き換えるでは、言葉をその定義で置き換える手法を見た。そこで示された例は次のとおりである。

すべての［死すべき、¬羽毛、二足歩行］は死すべきものである。

ソクラテスは［死すべき、¬羽毛、二足歩行］である。

したがって、ソクラテスは死すべきものである。

それなら、なぜそもそも「人間」という言葉を持ちたいと思うのだろうか。単に「ソクラテスは死すべき、羽毛のない二足動物である」と言えばよいのではないか。

頻繁に遭遇するものには短い言葉があると便利だからである。個々の性質を記述する符号がすでに効率的なら、「死すべき、羽毛のない二足動物」に対する「人間」のような、連言を表す特別な言葉を持つことには利点がない。ただし、死すべきかつ羽毛がなくかつ二足歩行であるものが、周辺確率から予想されるより頻繁に見つかる場合は別である。

効率的な符号では、語の長さが確率に対応する。したがって、P(Z₁Y₂) > P(Z₁)P(Y₂)でない限り、Z₁Y₂を表す符号の長さは、Z₁を表す符号とY₂を表す符号の長さを足したものとまったく同じになる。この不等式が成り立つ場合には、その語の符号を、部分を表す符号より短くできる。

そしてこれは、あるもののほかの性質を見ることで、そのものの性質の一部を推論できる場合に正確に対応する。羽毛のない二足動物が死すべきものでもある確率は、デフォルトより高くなければならない。

もちろん、「人間」という言葉は実際には、はるかに多くの性質を記述している。話して服を着る、人間の姿をした存在を見れば、それについて生化学的、解剖学的、認知的な事実を丸ごと大量に推論できる。「人間」という言葉を、人間について知っているすべての記述で置き換えるには、途方もない時間を話すことに費やさなければならない。だが、これが真なのは、羽毛がなく話をする二足動物が、デフォルトよりはるかに高い確率で毒ニンジンにより毒されうる、幅広い爪を持つ、あるいは自信過剰であるからに限られる。

あるものについて、性質をただ列挙するのではなく一つの言葉を持つことがより簡潔な符号になるのは、まさに、それらの性質の一部をほかの性質から推論できる場合である。（ただし、「赤」のようなきわめて原始的な言葉は例外かもしれない。そうした言葉は、感覚経験をまったく圧縮せずに記述して送るために使うだろう。しかし虫、さらには岩に遭遇する段階に至れば、原始的な水準をはるかに超えた、単純でない性質の集合を扱っている。）

したがって、緑の目と黒い髪を持つ人を指す「ウィギン」という言葉を持つことが、単に「緑の目と黒い髪を持つ人」と言うより有用なのは、正確には次の場合である。

1. 緑の目を持つ人が平均より高い確率で黒い髪を持つ（そしてその逆も成り立つ）ため、黒い髪から緑の目を、またはその逆を確率的に推論できる場合。あるいは
2. ウィギンが、デフォルトより高い確率で推論できる別の性質を共有している場合。この場合、緑の目と黒い髪は別々に観察しなければならない。しかしこの二つの性質を独立に観察したあとなら、ほかの性質（ケチャップを好む、など）を確率的に推論できる。

言葉を定義する行為を、この趣旨の約束と見なすことさえできる。「私は『ウィギン』という言葉を、緑の目と黒い髪を持つ人という意味に定義する」と誰かに伝えることは、グライス的含意により、「ウィギン」という言葉が何らかの仕方で推論を助け、メッセージを短くする、と主張することである。

緑の目と黒い髪が一緒に見つかる確率がデフォルトより高くなく、ほかのどんな性質もそれらと一緒にデフォルトより高い確率で現れないなら、「ウィギン」という言葉は嘘である。その言葉は、ある人々を集団として区別する価値があると主張するが、実際にはそうではない。

この場合、「ウィギン」という言葉は現実をより簡潔に記述する助けにならない――最短のメッセージを送る者によって定義されたものではなく、最も単純な説明のなかに役割を持たない。同じことだが、「ウィギン」という言葉は、ベイズ推論を行ううえで何の助けにもならない。その言葉を嘘と呼ばないとしても、間違いであることは確かだ。

そして、現実をその関節に沿って切り分ける方法は、モノ空間で、異例に高い確率密度が集中する領域を囲むように境界を引くことである。