エントロピーと短い符号

❦

（ベイズ推論に馴染みがなければ、ここで「ベイズの定理の直感的な説明」を読むとよいかもしれない。）

8通りの状態のどれにも等しい確率でなる系Xがあるとしよう。

{X₁, X₂, X₃, X₄, X₅, X₆, X₇, X₈}.

物理学、数学、さらには生物学にも、驚くほど広く現れる量に、エントロピーがある。Xのエントロピーは3ビットだ。つまり、Xの値を知るには、平均して3回、はいかいいえで答える質問をしなければならない。たとえば、次の符号でXの値を教えてもらえる。

だから、「最初の記号は1ですか？」と聞いて「はい」、「二番目の記号は1ですか？」と聞いて「いいえ」、「三番目の記号は1ですか？」と聞いて「いいえ」という答えを得れば、Xが状態4にあるとわかる。

今度は、系Yに4通りの状態があり、それぞれの確率が次のようになっているとしよう。

すると、Yのエントロピーは1.75ビットになる。つまり、はいかいいえで答える質問を1.75回すれば、その値がわかる。

質問を1回と4分の3回するとは、どういうことだろう？　Yの状態を、次の符号で指定すると想像してほしい。

最初に「最初の記号は1ですか？」と聞く。「はい」なら、それで終わりだ。Yは状態1にある。これは半分の確率で起こる。だから50%の場合には、Yの状態を知るのに、はいかいいえの質問が1回で済む。

代わりに「いいえ」と答えられたとしよう。次に「二番目の記号は1ですか？」と聞く。「はい」なら、それで終わりだ。Yは状態2にある。系Yが状態2にある確率は1/4であり、Yが状態2にあるたびに、二つの質問でその事実がわかる。だから25%の場合には、Yの状態を知るのに2回の質問が必要だ。

2回続けて「いいえ」だったなら、「三番目の記号は1ですか？」と聞く。「はい」なら、Yは状態3にあり、それで終わり。「いいえ」なら、Yは状態4にあり、それで終わりだ。Yが状態3にある1/8の場合には、3回の質問が要る。Yが状態4にある1/8の場合にも、3回の質問が要る。

(1/2 × 1) + (1/4 × 2) + (1/8 × 3) + (1/8 × 3)

= 0.5 + 0.5 + 0.375 + 0.375

= 1.75.

系SのエントロピーH(S)を表す一般式は、すべてのS_iについての、−P(S_i)log₂(P(S_i))の総和だ。

たとえば、1/8の底2の対数は−3だ。だから、−（1/8 × −3）= 0.375が、状態S₄のエントロピー全体への寄与になる。1/8の場合には、3回質問しなければならないからだ。

どんな系でも完全な符号を考案できるわけではない。だが、Sのコピーを好きなだけ多く集め、その状態を一つのメッセージで伝えるのなら、完全な符号へいくらでも近づける。（簡単な方法を知りたければ「算術符号化」で検索してほしい。）

ここで、こう聞くかもしれない。「Y₄の符号を000でなく10にすればいいのでは？　そのほうが速くメッセージを送れるのでは？」

だが、Y₄に10を使うと、「最初の記号は1ですか？」に「はい」と答えてもらっても、その系がY₁（1）なのかY₄（10）なのか、まだわからない。実際、この変更をすると、仕組み全体が破綻する。「1001」と聞いたとき、それが「Y₄に続いてY₂」なのか、「Y₁に続いてY₃」なのかわからないからだ。

教訓は、短い語は、総量に制約のある資源だということだ。

よい符号——メッセージをできるだけ短く伝える符号——を作る鍵は、よく言う必要があるものに短い語を取っておき、それほど頻繁に言う必要のないものには長い語を使うことだ。

この技を極めると、何かを記述するのに必要なメッセージの長さは、その確率と、正確に、あるいはほぼ正確に対応する。これが、最小記述長または最小メッセージ長による、オッカムの剃刀の定式化だ。

だから、言葉に使うラベルさえ、まったく恣意的なわけではない。概念に結びつける音にも、よいものと悪いもの、賢いものと愚かなものがある。一般的な語法の問題とは別に、だ！

こんな話をするのは、「Xは好きなようにしてよい」という考えが、賢くXする方法を学ぶうえで、大きな障害になるからだ。「ここは自由な国だ。私には自分の意見を持つ権利がある」は、真実を見つける技を妨げる。「言葉は好きなように定義できる」は、現実をその関節に沿って切り分ける技を妨げる。一見もっともな「言葉につけるラベルは恣意的だ」さえ、簡潔さへの意識を妨げる。音の調子についても同じだ。トールキンはかつて「cellar door」という句の響きがいかに美しいかに触れた。トールキンのように言葉を使うには、そういう意識が必要なのだ。

言葉の長さは、言語の認知科学でも、無視できない役割を持っている。

「recliner（リクライニングチェア）」「chair（椅子）」「furniture（家具）」を考えよう。リクライニングチェアは椅子より具体的なカテゴリーであり、家具は椅子より一般的なカテゴリーだ。だが椅子の大半には、共通する用途がある。同じような体の動かし方で腰を下ろし、同じような目的——食事や読書やタイピングや休息の間、足にかかる体重を減らすこと——で座る。リクライニングチェアも、この枠から外れない。一方、家具にはベッドやテーブルのように、椅子とは用途が異なり、違う運動機能を呼び起こすものが含まれる。

認知心理学の用語では、「椅子」は基本レベルのカテゴリーだ。

人は基本レベルのカテゴリーで話す傾向があり、おそらく考えるときもそうだ。より具体的なリクライニングチェアや、より一般的な家具ではなく、「椅子」の周りに境界を引く。「そのリクライニングチェアに座れるよ」「その家具に座れるよ」より、「その椅子に座れるよ」と言うほうが多い。

そして、英語の「chair」の音節が「recliner」や「furniture」より少ないのは偶然ではない。一般に、基本レベルのカテゴリーには短い名前がつきやすく、短い名前の名詞は基本レベルのカテゴリーを指しやすい。もちろん完全な法則ではないが、はっきりした傾向だ。頻繁な使用には短い語が伴い、短い語には頻繁な使用が伴う。

ダグラス・ホフスタッターの言い方を借りれば、英語では「the」が「the」を意味し、「antidisestablishmentarianism（国教会廃止反対主義）」が「antidisestablishmentarianism」を意味するのであって、「antidisestablishmentarianism other way around（その逆）」ではないのには、理由があるのだ。