超指数的な概念空間と単純な言葉

❦

モノ空間は、ずいぶん巨大な空間だと思うかもしれない。現実よりはるかに大きい。現実には実際に存在するものしか含まれないのに対し、モノ空間には存在しうるすべてのものが含まれるからである。

実のところ、密度、体積、質量のような相関した属性も含め、考えられるあらゆる属性に次元を持たせるように私がモノ空間を「定義」したため、モノ空間は何か大きさと呼べるものを持つには定義が粗雑すぎるかもしれない。それでも、モノ空間を視覚化できることは重要である。羽ばたいて鳴くものの雲しか見えず、モノ空間内の点のクラスターが見えないなら、スズメの群れを本当に理解できる者など、きっといない。

だが、モノ空間がどれほど広大であろうと、概念空間の大きさにはまるでかなわない。

機械学習でいう「概念」とは、事例を含めるか除外するかを決める規則である。{2:+, 3:-, 14:+, 23:-, 8:+, 9:-}というデータを見れば、その概念は「偶数」だろうと推測するかもしれない。データから概念を学ぶ方法については、（予想どおり）かなり膨大な文献がある……無作為な事例が与えられた場合、選ばれた事例が与えられた場合……分類に誤りがありうる場合……そして最も重要なのは、可能な規則の空間が異なる場合である。

たとえば、「テニスをするのに適した日」という概念を学びたいとしよう。日が取りうる属性は次のとおりである。

そこで次のデータが提示される。+は概念の正例、−は負と分類された例を示す。

アルゴリズムはここから何を推論すべきだろうか。

機械学習器は、このデータに適合する概念の一つを次のように表現するかもしれない。

{天候: ?; 気温: 暖; 湿度: 高; 風: ?}.

この形式では、概念が事例を受け入れるか退けるかを判断するため、要素ごとに比較する。?は何でも受け入れるが、特定の値はその値だけを受け入れる。

したがって上の概念は、気温 = 暖かつ湿度 = 高である日だけを受け入れるが、天候と風はどの値でもよい。これは、ここまでのデータにある負と正の分類の両方に適合する――ただし、そうなる唯一の概念ではない。

上の概念表現は、さらに次のように簡略化できる。

{?, 暖, 高, ?}.

細部には立ち入らないが、古典的なアルゴリズムは次のようになる。

• データに適合する最も一般的な仮説の集合を維持する。すなわち、事実に適合したまま、できるだけ多くの事例を正と分類する仮説である。
• データに適合する最も具体的な仮説の集合も維持する。すなわち、事実に適合したまま、できるだけ多くの事例を負と分類する仮説である。
• 新たな負例を見るたび、最も一般的な仮説すべてを必要最小限だけ強め、新しい集合が事実に適合しつつ再びできるだけ一般的になるようにする。
• 新たな正例を見るたび、最も具体的な仮説すべてを必要最小限だけ緩め、新しい集合が事実に適合しつつ再びできるだけ具体的になるようにする。
• 仮説が一つだけ残るまで続ける。目標とする概念がそもそも仮説空間に含まれていたならば、これが答えになる。

上の場合、最も一般的な仮説の集合は次のようになる。

{{?, 暖, ?, ?},{晴, ?, ?, ?}},

一方、最も具体的な仮説の集合には{晴, 暖, 高, ?}という要素が一つだけ含まれる。

このデータに適合するほかの概念をどれだけ見つけても、それは最も一般的な仮説のどれかより厳密に具体的であり、最も具体的な仮説より厳密に一般的になる。

（この話についてさらに知りたければ、この例の元となったトム・ミッチェルのMachine Learningを薦める。1）

さて、上の形式では可能な概念をすべて表現することはできないと気づくかもしれない。たとえば、「空が晴れているか、気温が暖かいときにはテニスをする」という概念である。これはデータに適合するが、上で定義した概念表現には、この規則を記述する四つ組の値がない。

明らかに、私たちの機械学習器はあまり一般的ではない。可能な概念をすべて表現できるようにして、最大限の柔軟性をもって学習できるようにしてはどうか。

日はこの四つの変数、一つの3値変数と三つの2値変数で構成される。したがって、遭遇しうる日は3 × 2 × 2 × 2 = 24通りある。

概念を表現するために示した形式では、変数にこれらの値のいずれかを要求することも、変数を自由にしておくこともできる。したがって、その表現には4 × 3 × 3 × 3 = 108個の概念がある。最も一般的／最も具体的な仮説を使うアルゴリズムを機能させるには、最も具体的な仮説である「正と分類される事例は一つもない」から始める必要がある。これを加えると、合計109個の概念になる。

可能な概念が可能な日より多いのは怪しいだろうか。もちろん怪しくない。何しろ、概念は日の集合と見なせる。概念は、それが正と分類する日の集合、あるいは同型的に、それが負と分類する日の集合と見なせるのである。

日を分類する可能なすべての概念の空間は、可能な日の集合すべてからなる集合であり、その大きさは2²⁴ = 16,777,216である。

この完全な空間には、ここまで論じた概念がすべて含まれる。だが、「事例{晴, 暖, 高, 強}と{晴, 暖, 高, 弱}だけを正と分類し、それ以外はすべて退ける」、あるいは「事例{雨, 寒, 高, 強}だけを負と分類し、それ以外はすべて受け入れる」といった概念も含まれる。簡潔な表現を持たず、許されるものと許されないものをただ平板に列挙した概念も含まれる。

これが、「完全に一般的な」帰納学習器を構築しようとすると生じる問題である。そうした学習器は、事例空間にありうる事例をすべて見るまで、概念を学習できない。

日に、水温や明日の予報のような属性をさらに加えれば、可能な日の数は属性数に対して指数関数的に増える。しかし、制限された概念空間では、これは問題にならない。対数個の事例を使えば、大きな空間を絞り込めるからである。

日に水温: {暖, 寒}という属性を加えるとしよう。すると可能な日は48通り、可能な概念は325個になる。目にする各日は、通常、その時点で妥当な概念の約半分から正と分類され、残りの半分から負と分類されるとしよう。すると、その事例の実際の分類を知るたび、適合する概念の空間は半分に減る。したがって、325個の可能な概念を一つに絞るには、わずか9個の事例（2⁹ = 512）で済むかもしれない。

日が40個の二値属性を持っていたとしても、可能な概念を一つに絞るために必要なデータ量は、なお扱える程度にとどまるはずである。それぞれの事例を残った概念の半分が正と分類するなら、64個の事例でよい。もちろん、実際の規則をそもそも表現できると仮定すればの話だ！

可能性をすべて考えたいのなら、まあ健闘を祈る。可能なすべての概念の空間は、属性の数に対して超指数関数的に増大する。

40個の二値属性を持つデータを扱う頃には、可能な事例の数は一兆を超える――だが、可能な概念の数は、2の一兆乗を超える。その超指数的な概念空間を絞り込むには、何が内で何が外かを言えるようになるまでに、一兆を超える事例を見なければならない。実際、可能な事例をすべて見なければならない。

これは、念のため言っておくと、40個の二値属性の場合である。40ビット、つまり5バイトを、単に「はい」か「いいえ」に分類するだけだ。40ビットなら、可能な事例は2⁴⁰通り、それらの事例を正または負に分類する可能な概念は2²⁴⁰個ある。

したがって、この現実世界では、対象を記述するのに5バイトを超える情報が必要であり、一兆個もの事例は利用できず、訓練データにはノイズがあるため、私たちはきわめて規則的な概念だけをそもそも考える。人間の心は――観測可能な宇宙全体でさえ――それ以外の仮説をすべて検討できるほど大きくは到底ない。

この観点からすると、学習は帰納バイアスに依存するだけではない。事前に排除される概念の数と、単なる証拠によって排除される概念の数を比べれば、学習はほとんどすべてが帰納バイアスなのである。

だが、これは（とあなたは尋ねる）言葉の正しい使い方と何の関係があるのか。

言葉が外延だけでなく内包も持つ理由のすべてが、ここにある。

前のエッセイで、私はこう結論した。

現実をその関節に沿って切り分ける方法は、異例に高い確率密度が集中する領域を囲むように境界を引くことである。

その（少し編集した）文では、私は重要な限定を意図的に省いた。今に至るまで説明できなかったからである。よりよい文は次のようになる。

現実をその関節に沿って切り分ける方法は、モノ空間で異例に高い確率密度が集中する領域を囲むように、単純な境界を引くことである。

そうしなければ、モノ空間を恣意的に区割りするだけになる。観察された事例を寄せ集める、実に奇妙で非連続な境界を作ることになる。その事例は、観察結果そのものより短いメッセージでは記述できないのに、「これは以前に見たものであり、今後もっと目にすると予想するものだ」と言うことになる。

現実世界では、分子より上の水準にあるものは何一つまったく同じ形では繰り返されない。ソクラテスは、毒ニンジンに弱かったほかの人間すべてとよく似た形をしているが、彼らとまったく同じ形ではない。したがって、ソクラテスが「人間」だという推測は、モノ空間の人間クラスターの周りに単純な境界を引くことに依存する。「［5メガバイトの形状仕様1］とまったく同じ形で［ほかの多数の特徴］を持つもの、または［5メガバイトの形状仕様2］とまったく同じで［ほかの多数の特徴］を持つもの、……は人間である」と言うのではない。

経験の周りに単純な境界を引かなければ、それを使って推論することはできない。だから、芸術であるものとそうでないものの長い一覧をただ指し示すのではなく、「複雑な感情を喚起すること自体を目的として、そのような感情を喚起するよう意図されたもの」のような内包的定義を使って「芸術」を記述しようとする。

実のところ、上の「現実をその関節に沿って切り分ける方法」についての文には、少し鶏と卵の問題がある。すでに少なくとも少し切り分けていなければ、実際の観察の密度を評価できない。そして、確率分布は境界を引くことから生じるのであって、その逆ではない――もし確率分布をすでに持っていたなら、推論に必要なものはすべて揃っているのだから、なぜわざわざ境界を引くのだろうか。

そしてこれは、「言葉は好きなように定義できる」という主張を疑う、もう一つの――そう、またもう一つの――理由を示唆する。概念空間の超指数的な大きさを考えれば、特定の一概念を選び出して検討することが、決して小さくない大胆さを要する行為だとわかる。これは私たちに限らず、計算能力に限界のあるいかなる心にとってもそうである。

「黒い髪と緑の目を持つ人」と定義された「ウィギン」という言葉を、この特定の概念を意識的な注意の水準に引き上げる理由もなしに提示するのは、探偵がこう言うようなものである。「さて、あの孤児たちを殺したのが誰かについて、どちらにせよ、ほんのわずかな裏づけすらありません……直観すらありませんよ……しかし、ノークル通り1234番地のジョン・Q・ウィッフルハイムを容疑者として検討しましたか？」