❦
（ベイズ推論になじみがないなら、今はベイズの定理の直観的説明を読むよい機会かもしれない。）
系Xが、次の8つの可能な状態のどれにある可能性も等しいとしよう。
{X1, X2, X3, X4, X5, X6, X7, X8}.
物理学、数学、さらには生物学にまで、驚くほど至るところに現れる量があり、エントロピーと呼ばれる。Xのエントロピーは3ビットである。これは、Xの値を突き止めるために、平均して3個のイエス・ノー質問をしなければならないという意味である。たとえば、次の符号を使えば、誰かがXの値を私たちに伝えられる。
| X1 : 001 | X2 : 010 | X3 : 011 | X4 : 100 |
| X5 : 101 | X6 : 110 | X7 : 111 | X8 : 000. |
そこで私が「最初の記号は1か？」と尋ねて「はい」と聞き、次に「二番目の記号は1か？」と尋ねて「いいえ」と聞き、さらに「三番目の記号は1か？」と尋ねて「いいえ」と聞けば、Xが状態4にあるとわかる。
今度は、系Yに次の確率を持つ四つの可能な状態があるとしよう。
| Y1 : 1/2 (50%) | Y2 : 1/4 (25%) |
| Y3 : 1/8 (12.5%) | Y4 : 1/8 (12.5%). |
するとYのエントロピーは1.75ビットになる。つまり、1.75個のイエス・ノー質問をすることで、その値を突き止められるということである。
四分の一個を加えた質問をする、とはどういう意味だろうか。次の符号でYの状態を指定すると想像してほしい。
| Y1 : 1 | Y2 : 01 | Y3 : 001 | Y4 : 000. |
まず「最初の記号は1か？」と尋ねる。答えが「はい」なら、それで終わりである。Yは状態1にある。これは半分の回数で起こるため、50%の場合には、Yの状態を突き止めるのに1個のイエス・ノー質問で済む。
代わりに答えが「いいえ」だったとしよう。そこで「二番目の記号は1か？」と尋ねる。答えが「はい」なら、それで終わりである。Yは状態2にある。系Yが状態2にある確率は1/4であり、Yが状態2にあるたびに二つのイエス・ノー質問を使ってその事実を発見する。したがって25%の場合には、Yの状態を発見するのに2個の質問が必要になる。
答えが二回続けて「いいえ」なら、「三番目の記号は1か？」と尋ねる。「はい」ならそれで終わり、Yは状態3にある。「いいえ」ならやはりそれで終わり、Yは状態4にある。Yが状態3にある1/8の回数では三つの質問が必要であり、Yが状態4にある1/8の回数でも三つの質問が必要になる。
(1/2 × 1) + (1/4 × 2) + (1/8 × 3) + (1/8 × 3)
= 0.5 + 0.5 + 0.375 + 0.375
= 1.75.
系SのエントロピーH(S)の一般式は、すべてのSiについて、−P(Si)log2(P(Si))を足し合わせたものである。
たとえば、1/8の（底を2とする）対数は−3である。したがって、−(1/8 × −3) = 0.375は、状態S4が総エントロピーに寄与する量である。1/8の回数で、私たちは3個の質問をしなければならない。
系に対して常に完璧な符号を考案できるとは限らない。しかし、任意の個数のSのコピーの状態を一つのメッセージで誰かに伝えなければならないなら、完璧な符号へいくらでも近づけられる。（簡単な方法については「算術符号」をGoogleで検索するとよい。）
ここで、こう尋ねるかもしれない。「Y4には000ではなく、符号10を使えばよいのではないか？ そうすれば、もっと速くメッセージを送れるのでは？」
しかしY4に符号10を使うと、「最初の記号は1か？」という質問に誰かが「はい」と答えた時点では、系の状態がY1（1）なのかY4（10）なのか、まだわからない。実際、このように符号を変更すると、体系全体が崩壊する――「1001」と聞いても、それが「Y4の次にY2」を意味するのか、「Y1の次にY3」を意味するのかわからないからである。
ここから得られる教訓は、短い語は保存される資源であるということだ。
よい符号――メッセージをできる限り簡潔に伝える符号――を作る鍵は、頻繁に言う必要があるもののために短い語を取っておき、それほど頻繁には言わないものに長い語を使うことである。
この技法を極限まで進めると、何かを記述するために必要なメッセージの長さは、そのものの確率に正確に、あるいはほぼ正確に対応する。これが、オッカムの剃刀を最小記述長または最小メッセージ長として形式化したものである。
したがって、言葉に用いるラベルでさえ、まったく恣意的というわけではない。概念に結びつける音は、よりよくも悪くも、より賢明にも愚かにもなりうる。一般的用法への配慮を別にしてさえ、そうなのである！
私がこれをすべて述べるのは、「好きなやり方でXしてよい」という考えが、賢くXする方法を学ぶうえで巨大な障害になるからである。「ここは自由な国だ。私には自分の意見を持つ権利がある」という考えは、真理を見つける技法を妨げる。「言葉は好きなように定義できる」という考えは、現実をその関節に沿って切り分ける技法を妨げる。そして、一見もっともらしい「言葉につけるラベルは恣意的である」という考えでさえ、簡潔さへの自覚を妨げる。その点では韻律も同じである。トールキンはかつて、「cellar door」という句はなんと美しい響きを持つのかと述べた。トールキンのように言語を使うには、その種の自覚が必要なのだ。
語の長さは、言語の認知科学においても無視できない役割を果たす。
「リクライニングチェア」、「椅子」、「家具」という語を考えてみよう。リクライニングチェアは椅子より具体的なカテゴリーであり、家具は椅子より一般的なカテゴリーである。しかし、圧倒的多数の椅子には共通の用途がある。同じような運動動作を使って腰掛け、同じような目的で腰掛ける（食事や読書や入力作業をするとき、あるいは休むときに、足から体重を除くためである）。リクライニングチェアもこの主題から外れない。一方、「家具」にはベッドやテーブルのように椅子とは用途が異なり、異なる運動機能を呼び起こすものも含まれる。
認知心理学の用語では、「椅子」は基礎レベルカテゴリーである。
人は、カテゴリー化の基礎レベルで話し、おそらく考える傾向がある。つまり、より具体的なカテゴリーである「リクライニングチェア」や、より一般的なカテゴリーである「家具」の周りではなく、「椅子」の周りに境界を引く。「そのリクライニングチェアには座れる」あるいは「その家具には座れる」と言うよりも、「その椅子には座れる」と言う可能性のほうが高い。
そして、「椅子」に当たる英単語chairが、「リクライニングチェア」に当たるreclinerや「家具」に当たるfurnitureより音節数が少ないのは偶然ではない。一般に、基礎レベルカテゴリーは短い名前を持つ傾向があり、短い名前を持つ名詞は基礎レベルカテゴリーを指す傾向がある。もちろん完璧な規則ではないが、明確な傾向である。頻繁な使用は短い語と一緒に現れ、短い語は頻繁な使用と一緒に現れる。
あるいはダグラス・ホフスタッターの言葉を借りれば、英語が「the」を「the」の意味に、「antidisestablishmentarianism」を「antidisestablishmentarianism」の意味に使い、その逆にしないのには理由がある。