❦
偽装された問いでは、「ブレッグ」と「ルーブ」の分類課題について語った。典型的なブレッグは青く、卵形で、毛に覆われ、柔軟で、不透明で、暗闇で光り、バナジウムを含む。典型的なルーブは赤く、立方体で、滑らかで、硬く、半透明で、光らず、パラジウムを含む。単純化のため、柔軟性／硬さと不透明性／半透明性という特徴は忘れることにしよう。するとモノ空間には、色、形、質感、輝度、内部という五つの次元が残る。
観察していないブレッグの特徴を、観察した特徴から予測する人工ニューラルネットワーク（ANN）を作りたいとしよう。そして私はANNについてかなり素朴だとする。ニューラルネットワークは分散的で、創発的で、並列的であり、まさに人間の脳のようだ！！と興奮して語る一般向け科学書は読んだが、シグモイドユニットを使った非再帰的な多層ネットワークにおける勾配降下法の微分方程式は導出できない（実際には、響きほど難しくない）。
すると私は、ネットワーク1のようなニューラルネットワークを設計するかもしれない。
ネットワーク1
ネットワーク1は、ブレッグとルーブを分類するためのものである。しかし「ブレッグ」は馴染みのない人工的な概念なので、人間と宇宙怪物を区別する、よく似たネットワーク1bも含めた。アリストテレス（「すべての人間は死すべきものである」）とプラトンの学園（「幅広い爪を持つ、羽毛のない二足動物」）から入力を得ている。
ネットワーク1b
ニューラルネットワークには学習規則が必要である。明白な考えは、二つのノードがしばしば同時に活性化するとき、その間の接続を強めるべきだ、というものだ。これはニューラルネットワークを訓練するため最初期に提案された規則の一つで、ヘッブの規則として知られている。
したがって、青くて毛に覆われたものをよく見れば――つまり「色」ノードを+状態で、「質感」ノードを+状態で同時に活性化すれば――色と質感の接続が強まる。その結果、+の色が+の質感を活性化し、逆も成り立つようになる。青く、卵形で、バナジウムを含むものを見れば、色、形、内部のあいだの正の相互接続が強化される。
すでに多数のブレッグとルーブがコンベアから出てくるのを見たとしよう。ところが今度は、毛に覆われ、卵形で、――なんと！――赤みがかった紫色（これを「色」の活性化水準−2/3としてモデル化する）のものが現れる。輝度と内部はまだ検査していない。何を予測するか、何を予測するか？
このとき、ネットワーク1の活性化水準は少し跳ね回る。形から輝度へ正の活性化が流れ、色から内部へ負の活性化が流れ、内部から輝度へ負の活性化が流れる……。もちろん、こうしたメッセージはすべて、人間の脳と同じく並列に！！、そして非同期に！！渡される……。
やがてネットワーク1は、「輝度」と「内部」が高い正の活性化を持つ安定状態へ落ち着く。ネットワークは（まだ見てはいないが）、その物体が暗闇で光り、バナジウムを含むと「予想する」と言える。
見よ、ネットワーク1は、その物体がブレッグかどうかを明示するノードがないにもかかわらず、この振る舞いを示す。判断はネットワーク全体へ暗黙に含まれている！！ ブレッグらしさはアトラクターだ！！ 分散した！！学習規則から創発的振る舞い！！の結果として生じる。
さて現実には、この種のネットワーク設計は、どれほど流行に乗っているように聞こえても、ありとあらゆる問題へぶつかる。再帰型ネットワークは必ずしもすぐに落ち着かない。振動したり、カオス的挙動を示したり、単に安定するまで非常に長くかかったりする。大きく黄色く縞模様のものを見て、分散ニューラルネットワークが「トラ」アトラクターへ落ち着くまで5分待たなければならないとしたら、これは悪いことである。非同期で並列かもしれないが、リアルタイムではない。
ほかにも、メッセージが往復するときに証拠を二重に数えるといった問題がある。ある物体が暗闇で光ると疑えば、その疑いによって、物体がバナジウムを含むという信念が活性化する。すると今度は、その信念によって、物体が暗闇で光るという信念が活性化する。
さらに、ネットワーク1の設計を大規模化しようとすると、O(N 2)本の接続が必要となる。ここでNは、観察可能なものの総数である。
では、もっと現実的なニューラルネットワーク設計はどのようなものだろうか？
ネットワーク2では、固定された（観察済みの）ノードから活性化の波が中央ノードへ収束し、その後、固定されていない（未観察の）ノードへ再び流れ出す。つまりネットワークが安定するのを待つのではなく、一段階で答えを計算できる。ニューロンが20Hzでしか動かない生物にとって重要な要件である。そしてネットワーク構造は、O(N 2)ではなくO(N )で規模を拡大できる。
ネットワーク2
確かに、第一のネットワーク構造のほうが、第二より簡単に気づけることもある。ネットワーク1では、どの二つのノード間にも直接接続がある。したがって、赤い物体が暗闇では決して光らないが、赤く毛で覆われた物体は通常、卵形やバナジウムなど、ほかのブレッグの特徴を持つなら、ネットワーク1はこれを容易に表現できる。色から輝度へ非常に強い直接的な負の接続を持たせる一方、質感から輝度以外の全ノードへ、さらに強力な正の接続を持たせればよい。
これは、ブレッグが光るという一般規則への「特別な例外」でもない。ネットワーク1にはブレッグらしさを表すユニットがなく、ブレッグらしさは分散ネットワークのアトラクターとして創発することを思い出してほしい。
だから確かに、そのO(N 2)本の接続によって、何かを買っていた。しかし大したものではない。猫と犬の中間へはまり込んだ動物などめったに見つからない現実世界の問題の大半では、ネットワーク1がより有用なわけではない。
（ネットワーク1でもネットワーク2でも、容易に表現できない事実もある。海のような青色と回転楕円体の形が一緒に見つかった場合には、必ずパラジウムが存在すると示すが、片方だけが見つかった場合には、どちらもバナジウムを示す非常に強い証拠になるとしよう。追加のノードなしでこれを表現することは、どちらの構造でも難しい。ネットワーク1とネットワーク2はどちらも、どんな環境構造が存在しそうかについて暗黙の仮定を体現している。それを読み取る能力によって、機械学習の玄人と初心者が分かれる。）
誤解してはならない。ネットワーク1もネットワーク2も、生物学的に現実的ではない。しかし、脳が実際にどう働いていようとも、ある意味でネットワーク1よりネットワーク2に近い、と推測するのはなお妥当に思える。高速で、安価で、規模を拡大でき、犬と猫をうまく区別する。自然選択は、適応度地形を水が流れ下るように、そうしたものへ向かう。
物体をブレッグかルーブのどちらかへ分類し、適切な箱へ投げ入れるのは、ごく普通の課題に思える。しかし海のような青色の物体が暗闇で決して光らないとしたら、気づくだろうか？
海のような青色であることだけが共通する20個の物体を見せられ、その後明かりを消し、一つも光らなければ、気づくかもしれない。言い換えれば、その事実で頭を殴られたなら。海のような青色の物体をまとめて提示されることで、脳が新しい下位カテゴリーを作り、その下位カテゴリー内で「光らない」という特徴を検出できるのかもしれない。しかし海のような青色の物体が、ほかの100個のブレッグやルーブに散らばっていたなら、おそらく気づかない。それは猫と犬を区別するのが容易で直観的なのと同じように、容易でも直観的でもないだろう。
あるいは、「ソクラテスは人間であり、すべての人間は死すべきものである。ゆえにソクラテスは死すべきものである」。アリストテレスは、ソクラテスが人間だとどうして分かったのか？ なるほど、ソクラテスには羽毛がなく、幅広い爪を持ち、直立して歩き、ギリシャ語を話し、まあ、全体として人間らしい形をし、人間らしく振る舞っていた。そこで脳は、ソクラテスが人間だと一度きり決定する。そこから、これまで観察したほかのすべての人間と同じく、ソクラテスも死すべきものだと推論する。言語を使うことに比べ、衣服を着ることが死すべきこととどれほど関連するかを問うのは、容易でも直観的でもないようだ。ただ、「衣服を着て言語を使うものは人間である」、そして「人間は死すべきものである」となる。
物事を一度きりカテゴリーへ分類しようとすることに伴うバイアスはあるだろうか？ もちろんある。たとえばカルト的な反カルト主義を参照してほしい。