相互情報量と事物空間の密度

❦

系Xには8通りの状態があり、現在の知識に照らして、どれも等しく起こりやすいとしよう。系Yには4通りの状態があり、やはり同じ確率である。前のエッセイで定義したXのエントロピーは3ビットだ。Xの正確な状態を知るには、はい・いいえで答える質問を3回する必要がある。Yのエントロピーは2ビットで、正確なYの状態を知るには2回の質問が要る。2³ = 8、2² = 4だから、3回で8通り、2回で4通りを区別できるのは当然に思えるかもしれない。だが、すべての可能性が同じ確率でなければ、もっと賢い符号を使い、たとえば平均1.75回の質問でYの状態を知ることもできる。この場合には、Xの確率質量は、可能なすべての状態に均等に分布している。Yも同様なので、賢い符号は使えない。

組み合わせた系(X,Y)のエントロピーはいくつだろうか。

「Xを知るのに3回、Yを知るのに2回だから、XとYの状態を知るには合計5回の質問が要る」と答えたくなるかもしれない。

だが二つの変数が絡み合い、Yの状態がわかるとXの状態についても何かわかるなら、どうだろう。

具体的には、XとYはどちらも奇数、またはどちらも偶数だとしよう。

3ビットのメッセージを受け取り、つまり3回質問して、XがX₅だとわかれば、YはY₁かY₃であり、Y₂やY₄ではないとわかる。だから追加の質問「YはY₃か？」に「いいえ」と答えてもらえば、系全体の状態(X,Y): X = X₅, Y = Y₁がわかる。質問は合計4回だった。

逆に、2回の質問でYがY₄だとわかれば、XがX₂、X₄、X₆、X₈のどれかを知るのに、さらに2回質問すればよい。やはり結合した系の状態を知るのに4回で済む。

二つの変数の相互情報量は、各系を別々に見たエントロピーの合計と、結合系のエントロピーとの差として定義される。I(X;Y) = H(X) + H(Y) − H(X,Y)。

ここでは、二つの系の間に1ビットの相互情報量がある。Xを知るとYについて1ビットわかり、可能性の空間は4通りから2通りへ、体積で半分になる。Yを知るとXについて1ビットわかり、可能性の空間は8通りから4通りへ減る。

確率質量が均等に分布していない場合はどうか。前回は、Yの四つの状態の確率が1/2、1/4、1/8、1/8である場合を考えた。これを、Yだけを考えた確率分布としよう。他に何も見ず、Yだけを見れば、この分布を予想する。そして変数ZにはZ₁とZ₂の二つの状態があり、確率はそれぞれ3/8と5/8だとする。

このとき、YとZの同時分布が次のようになる場合、そしてその場合に限り、YとZの相互情報量はゼロである。

この分布は、次の法則に従う。

P(Y,Z) = P(Y)P(Z) .

たとえば、P(Z₁Y₂) = P(Z₁)P(Y₂) = 3/8 × 1/4 = 3/32である。

また、同時分布を見るだけで、YとZを個別に見た周辺確率を取り出せることに注目してほしい。

つまり、同時分布を調べるだけで、周辺の変数YとZが独立かどうかを判定できる。同時分布が周辺分布の積に分解できるか、すなわちすべてのYとZについてP(Y,Z) = P(Y)P(Z)となるか、ということだ。

最後の関係が重要なのは、ベイズの規則によって次が成り立つからだ。

平たく言えば、「Z_jを知ったあとも、Y_iについての信念は、それ以前とまったく同じだ」。

だから分布が積に分解できるとき、つまりP(Y,Z) = P(Y)P(Z)のとき、それは「Yを知ってもZについては何もわからず、その逆も同じだ」ということと同値である。

そこから、YとZの間に相互情報量はないだろうと推測できる。その推測は正しい。相互情報量がなければ、ベイズ的な証拠もない。逆も同じだ。

上の分布(Y,Z)で、YとZの各組み合わせを別々の事象として扱うとしよう。分布(Y,Z)には、示した確率を持つ8通りの可能性があることになる。そして、他のどんな分布にも使うのと同じ方法で、分布(Y,Z)のエントロピーを計算する。

P(Z₁Y₁)log₂(P(Z₁Y₁)) + P(Z₁Y₂)log₂(P(Z₁Y₂)) +
P(Z₁Y₃)log₂(P(Z₁Y₃)) + … + P(Z₂Y₄)log₂(P(Z₂Y₄))

= (3/16)log₂(3/16) + (3/32)log₂(3/32) +
(3/64)log₂(3/64) + … + (5/64)log₂(5/64) .

得られる合計は、YのエントロピーとZのエントロピーを別々に計算して足したものと同じになる。二変数の間に相互情報量がないので、結合系の不確実性は、それぞれの系を別々に考えた不確実性より小さくならない。（計算はここでは示さないが、自分でやってみてほしい。一般に成り立つ証明も示さないが、「シャノンエントロピー」「相互情報量」で検索してみるとよい。）

では同時分布が積に分解できないときは？　たとえば、次の場合だ。

同時確率を足して周辺確率を求めると、P(Y₁) = 1/2、P(Z₁) = 3/8などとなるはずだ。周辺確率は前と同じである。

だが、同時確率は必ずしも周辺確率の積に等しくない。たとえばP(Z₁Y₂)は8/64だが、P(Z₁)P(Y₂)は3/8 × 1/4 = 6/64になる。つまり、Z₁Y₂が一緒に起きる確率は、Z₁とY₂が別々に起きる確率だけから予想するより高い。

すると、次のことが導かれる。

P(Z₁Y₂)が「通常より高い」確率、つまり周辺確率から標準的に示されるより高い確率なので、Y₂を観察することは、Z₁の確率を高める証拠になる。対称的な議論によって、Z₁を観察すればY₂を支持するはずだ。

Yの値の少なくとも一部からZについて情報が得られ、逆もそうなのだから、二変数の間には相互情報量があるはずだ。したがって、実際には確かめていないが自信はあるのだが、(Y,Z)のエントロピーを計算すれば、YとZを個別に見たエントロピーの和より、全体の不確実性が小さくなるはずだ。つまりH(Y,Z) = H(Y) + H(Z) − I(Y;Z)で、各量は必ず正になる。

（少し脱線するが、相互情報量の式が対称であることから、YがZについて与える情報は、平均すれば、ZがYについて与える情報と同じでなければならない。すべてのカラスは黒いなら、Raven(x) ⇒ Black(x)と推論してよくても、Black(x) ⇒ Raven(x)と推論してよいわけではない、という論理学の授業で習ったことと、どう両立するかは読者への課題としよう。ベイズ主義者の対称的な確率の流れは、論理の急激な跳躍とずいぶん違って見える。後者は前者の特殊な極限にすぎないのだが。）

「でも」とあなたは問うだろう。「これが、言葉の適切な使い方とどう関係するのか？」

「空っぽのラベル」、そして「記号を中身に置き換える」では、言葉を定義に置き換える方法を見た。例は次のようなものだった。

すべての［死ぬ、¬羽毛、二足歩行］は死ぬ。

ソクラテスは［死ぬ、¬羽毛、二足歩行］である。

したがって、ソクラテスは死ぬ。

では、そもそもなぜ「人間」という言葉が欲しいのか。ただ「ソクラテスは、死ぬ、羽のない二足歩行動物だ」と言えばよいのではないか。

よく出会うものには短い言葉があると便利だからだ。単独の性質を記述する符号がすでに効率的なら、「死ぬ、羽のない二足歩行動物」に「人間」という言葉をつけるように、性質の連言に特別な語を設けても、利点はない。ただし、死に、かつ羽がなく、かつ二足歩行するものが、周辺確率から予想するより頻繁に現れるなら話は別だ。

効率的な符号では、語の長さは確率に対応する。だから、Z₁Y₂の符号長は、Z₁の符号長とY₂の符号長の和と同じになる。ただしP(Z₁Y₂) > P(Z₁)P(Y₂)なら、その語の符号は、部分の符号を足したものより短くできる。

これは、そのもののある性質を見ることで、他の性質を推論できる場合に、ちょうど対応する。羽がなく二足歩行するものが死ぬ確率は、標準の場合より高くなければならない。

もちろん「人間」という語は、本当ははるかに多くの性質を記述する。話し、服を着ている人型の存在を見れば、生化学、解剖学、認知に関する大量の事実を推論できる。「人間」を、人間について知ることすべての説明に置き換えたら、途方もない時間をかけて話さなければならない。だが、それが成り立つのは、羽がなく、話す二足歩行動物なら、ドクニンジンで毒殺されうる確率、幅広い爪を持つ確率、あるいは自信過剰である確率が、標準よりはるかに高いからこそだ。

性質を列挙する代わりに、そのものを表す語を持つことが、より短い符号になるのは、まさに、一部の性質から他の性質を推論できる場合である。（感覚的経験をまったく圧縮せずに記述するために使う、「赤い」のような、ごく基本的な語は例外かもしれない。だが虫、さらには石に出会った時点で、基本的な水準をはるかに超えた、単純でない性質の集合を扱っている。）

だから、緑の目と黒い髪の人に「ウィギン」という言葉をつけるほうが、「緑の目と黒い髪の人」と言うより有用なのは、まさに次の場合だ。

1. 緑の目の人は平均より黒髪である確率が高く、逆も同じである。つまり黒髪から緑の目を、またはその逆を、確率的に推論できる。あるいは、
2. ウィギンが、標準より高い確率で推論できる別の性質を共有している。この場合、緑の目と黒髪は別々に観察する必要がある。だが両方を独立に観察したあとには、ケチャップを好むといった他の性質を、確率的に推論できる。

言葉を定義すること自体を、そのような働きを約束することと考えてもよい。「ウィギンという語を、緑の目と黒い髪を持つ人と定義する」と言えば、グライス的な含意によって、その語は何らかの仕方で推論を助け、メッセージを短くすると主張していることになる。

緑の目と黒髪が一緒に見つかる確率が標準を超えず、他の性質もそれらとともに標準以上の確率では現れないなら、「ウィギン」という語は嘘だ。特定の人々を一群として区別する価値があると、その語は主張するが、実際にはない。

この場合、「ウィギン」という語は現実を短く記述する助けにならない。最短のメッセージを送る人が定義する語ではなく、最も単純な説明の中に役割を持たない。同じことだが、その語はベイズ的な推論にもまったく役立たない。嘘とまでは呼ばなくても、確かに誤りである。

現実を関節に沿って切り分けるには、事物空間で確率密度が通常より高く集中するところを、境界で囲めばよい。