❦
「隠れた問い」で、ブレッグとルーブを分類する作業について話した。典型的なブレッグは青く、卵形で、毛があり、柔らかく、不透明で、暗闇で光り、バナジウムを含む。典型的なルーブは赤く、立方体で、滑らかで、硬く、半透明で、光らず、パラジウムを含む。話を簡単にするため、柔らかい／硬い、不透明／半透明という特徴は忘れよう。これで事物空間には、色、形、表面、明るさ、内部という五つの次元が残る。
観察したブレッグの特徴から、まだ観察していない特徴を予測する人工ニューラルネットワーク（ANN）を作りたいとしよう。そして、私はANNについてかなり素人だとする。ニューラルネットワークは分散的で創発的で並列的、人間の脳そのものだ！！と興奮気味に語る一般向け科学書は読んだが、シグモイド素子を使う非再帰型多層ネットワークの勾配降下法の微分方程式は導けない。（実際は、響きほど難しくないのだが。）
そんな私は、ネットワーク1のようなニューラルネットワークを設計するかもしれない。
ネットワーク1
ネットワーク1は、ブレッグとルーブを分類するためのものだ。だが「ブレッグ」はなじみのない作り物の概念なので、似たネットワーク1bも用意した。アリストテレスの「すべての人間は死すべきものである」と、プラトンの学園の「幅広い爪をもつ、羽毛のない二足動物」を取り入れ、人間と宇宙の怪物を区別するものだ。
ネットワーク1b
ニューラルネットワークには学習則が必要だ。すぐ思いつくのは、二つのノードがよく同時に活性化するなら、そのあいだの結合を強めるという考えだ。これは、ニューラルネットワークの訓練法として最初期に提案された規則の一つで、ヘッブ則として知られる。
だから、青くて毛のあるものをよく見て、「色」のノードと「表面」のノードを同時に＋の状態にするなら、色と表面の結合は強まる。その結果、＋の色が＋の表面を活性化し、逆もまた起きる。青くて卵形でバナジウムを含むものを見れば、色、形、内部のあいだの正の相互結合が強まる。
コンベアから出てくるブレッグとルーブを、もうたくさん見てきたとしよう。だが今度見えたのは、毛があり、卵形で、なんと——赤みがかった紫のものだ。（これは「色」の活性化水準−2/3としてモデル化しよう。）明るさも内部も、まだ調べていない。何を予測すればよいのだろう？
すると、ネットワーク1の活性化水準がしばらくあちこちに揺れ動く。形から明るさへ正の活性化が流れ、色から内部へ負の活性化が流れ、内部から明るさへ負の活性化が流れる……。もちろん、こうしたメッセージはすべて、並列に！！ そして非同期に！！ やり取りされる。人間の脳と同じように……。
やがてネットワーク1は、「明るさ」と「内部」の活性化が大きく正になる、安定状態に落ち着く。ネットワークは、まだ見ていないのに、その物体が暗闇で光り、バナジウムを含むと「予期している」と言える。
そして見よ、ネットワーク1は、物体がブレッグかどうかを明示するノードがないのに、このように振る舞う。その判断は、ネットワーク全体に暗黙に含まれている！！ ブレッグであることは、分散的な！！学習則から創発する振る舞い！！の結果として生じる、アトラクター！！なのだ。
だが現実には、この種のネットワーク設計は、どんなに流行りの響きがあろうと、ありとあらゆる問題にぶつかる。再帰型ネットワークは、いつでもすぐ落ち着くわけではない。振動したり、カオス的に振る舞ったり、落ち着くまで非常に長くかかったりする。大きく、黄色く、縞模様のあるものを見て、分散ニューラルネットワークが「トラ」のアトラクターに落ち着くまで5分待つことになるなら、これはまずい。非同期で並列かもしれないが、リアルタイムではないのだ。
ほかにも、メッセージが行き来するうちに証拠を二重計上する問題がある。ある物体は暗闇で光るのではないかと思うと、その疑いが、バナジウムを含むという信念を活性化し、それが今度は、暗闇で光るという信念を活性化する。
さらに、ネットワーク1の設計を拡大しようとすると、観察可能な特徴の総数をNとして、O(N 2)の結合が必要になる。
では、もっと現実的なニューラルネットワークの設計は、どういうものだろう。
ネットワーク2では、値を固定した、つまり観察済みのノードから、活性化の波が中央のノードに集まり、そこから外へ、値を固定していない、つまり未観察のノードへと押し寄せる。つまり、ネットワークが落ち着くのを待たず、一段階で答えを計算できる。ニューロンが20Hzでしか動かない生物では、これは重要な要件だ。また、ネットワークの構造はO(N 2)でなく、O(N )で拡大できる。
ネットワーク2
確かに、二つ目の構造より一つ目の構造のほうが気づきやすいこともある。ネットワーク1では、どの二つのノードも直接つながっている。だから、赤い物体は暗闇では決して光らないが、赤くて毛のある物体は、卵形やバナジウムを含むことなど、ほかのブレッグの特徴をたいていもつとする。ネットワーク1なら、これは簡単に表せる。色から明るさへ非常に強い直接の負の結合を置き、一方、表面から明るさ以外の全ノードへ、それより強い正の結合を置けばよい。
これは、ブレッグは光るという一般則の「特別な例外」でもない。忘れないでほしい。ネットワーク1には、ブレッグ性を表す素子がない。ブレッグ性は、分散ネットワークのアトラクターとして創発するのだ。
だから確かに、O(N 2)の結合にも見返りはあった。だが、さほど大きな見返りではない。現実の問題の大部分では、ネットワーク1のほうが役立つわけではない。猫と犬の中間で立ち往生している動物など、めったに見つからないのだから。
（ネットワーク1でもネットワーク2でも、表しにくい事実もある。海のような青色と楕円球形が一緒に見られるときは必ずパラジウムを示すが、片方だけの場合は、それぞれバナジウムの非常に強い証拠になるとしよう。これは、ノードを追加しないかぎり、どちらの構造でも表しにくい。ネットワーク1も2も、環境にどんな構造が存在しそうかについて、暗黙の仮定を組み込んでいる。そこからその仮定を読み取れるかどうかが、機械学習で一人前と初心者を分ける。）
誤解しないでほしい。ネットワーク1も2も、生物学的に現実的なものではない。それでも、脳が実際にはどのように働くにせよ、ある意味ではネットワーク1より2に近い、というのは妥当な推測に思える。速く、安く、拡大でき、犬と猫をうまく区別できる。自然選択は、適応度の地形を流れ下る水のように、そうしたものへ向かう。
物体をブレッグかルーブに分類し、適切な箱に入れるのは、ごく普通の作業に見える。だが、海のような青色の物体が暗闇で決して光らないとしたら、気づくだろうか。
誰かが、海のような青色である以外に共通点のない20個の物体を並べ、明かりを消すと、どれも光らなかった。そんな場合なら、気づくかもしれない。つまり、頭を殴られるように突きつけられた場合だ。これらの海色の物体をまとめて見せることで、脳が新しい下位カテゴリーを作り、その中の「光らない」という特徴を検出できるのかもしれない。だが、海色の物体が100個のほかのブレッグやルーブに混じっていたら、おそらく気づかないだろう。猫と犬を見分けるのと同じように、簡単で直感的に気づけるわけではない。
あるいは、「ソクラテスは人間であり、すべての人間は死すべきものである。ゆえに、ソクラテスは死すべきものである」。アリストテレスは、ソクラテスが人間だとどうして知ったのか。まあ、ソクラテスには羽毛がなく、幅広い爪があり、直立して歩き、ギリシャ語を話し、そして全体として人間のような姿をし、人間のように振る舞っていた。だから脳は、ソクラテスは人間だと決定的に決め、そこから、これまでに観察したほかのすべての人間と同じく、死すべきものだと推論する。言葉を使うことと比べて、服を着ることは死すべきこととどれほど関連しているか、と問うのは、簡単でも直感的でもない。ただ、「服を着て言葉を使うものは人間だ」「人間は死すべきものだ」となる。
物を一度きりの判断でカテゴリーに分類しようとすることには、バイアスが伴うだろうか。もちろん、伴う。たとえば「カルトじみた反カルト主義」を見てほしい。