Yudkowsky Sequences 日本語訳
非公式日本語訳 — 原著者・発行元による公式の翻訳ではありません

Eliezer Yudkowsky — 非公式日本語訳

アルゴリズムは内側からどう感じられるか

How An Algorithm Feels From Inside

「森で木が倒れ、誰もそれを聞かなかったなら、音はするのか?」私は、この話題で実際に議論が始まるのを見た覚えがある。バークリー的主観論などには少しも近づかない、完全に素朴な議論だった。ただ、こうである。

「ほかの木が倒れるときと同じように、音がするに決まっている!」

「でも、誰も聞かない音がどうしてありうるのか?」

標準的な合理主義者の見方では、一人目は「音」が空気中の音響振動を意味するかのように話し、二人目は「音」が脳内の聴覚経験を意味するかのように話している。「音響振動はあるか?」または「聴覚経験はあるか?」と尋ねれば、答えはただちに明らかになる。したがって議論は実のところ、「音」という言葉の定義をめぐるものだ。

この標準的分析は、本質的に正しいと思う。そこでそれを前提として受け入れ、次のように問おう。なぜ人はこの種の議論を始めるのか? 根底にはどんな心理があるのか?

ヒューリスティクスとバイアス研究の重要な考えの一つは、正しい答えより誤りのほうが、認知について多くを明かす場合が多い、というものだ。誰もいない森で木が倒れたとき音がするかをめぐり、激しい論争へ陥ることは、伝統的に誤りだと考えられている。

では、どのような心の設計がその誤りへ対応するのか?

偽装された問いで、私はブレッグ/ルーブの分類課題を紹介した。仕分け主任のスーザンが、コンベアから出る物体を仕分け、青い卵、すなわち「ブレッグ」は一方の箱へ、赤い立方体、すなわち「ルーブ」はルーブ箱へ入れるのが仕事だと説明する。やがて分かるのだが、これはブレッグにはバナジウム鉱石の小さな塊、ルーブにはパラジウムの小さな細片が入っており、どちらも工業上役立つからである。

ただし青い卵形物体のおよそ2%には、代わりにパラジウムが入っている。ではパラジウムを含む青い卵形物体を見つけたら、代わりに「ルーブ」と呼ぶべきだろうか? ルーブ箱へ入れるのだから、「ルーブ」と呼ばない理由があるだろうか?

しかし明かりを消すと、ほぼすべてのブレッグは暗闇でかすかに光る。

そしてパラジウムを含む青い卵形物体も、ほかの青い卵形物体と同じ確率で暗闇で光る。

したがって、パラジウムを含む青い卵形物体を見つけて「これはブレッグか?」と問うなら、答えはその答えを何に使うかによって変わる。「この物体はどの箱へ入るか?」と問うなら、ルーブであるかのように選ぶ。しかし「明かりを消したら、これは光るか?」と問うなら、ブレッグであるかのように予測する。一方の場合、「これはブレッグか?」という質問は、「どの箱へ入るか?」という偽装された問いを表す。もう一方の場合、「これはブレッグか?」という質問は、「暗闇で光るか?」という偽装された問いを表す。

さて、青く卵形でパラジウムを含む物体があり、それが毛に覆われ、柔軟で、不透明で、暗闇で光ることもすでに観察したとしよう。

これですべての問いへ答え、導入された観察可能なものをすべて観察した。偽装された問いが代わりに表すものは、何も残っていない。

それなのに、この物体が本当にブレッグかどうかを論じ続けたいという衝動を、なぜ感じる人がいるのか?

神経カテゴリーにある次の図は、ブレッグとルーブについての問いへ答えるために使いうる、二つの異なるニューラルネットワークを示している。

   

ネットワーク1

ネットワーク1には、振動的/カオス的な挙動をする可能性や、O(N2)本の接続が必要なことなど、いくつもの欠点がある。しかしネットワーク1の構造には、ネットワーク2と比べて一つ大きな利点がある。ネットワークの各ユニットが、検証可能な問いへ対応することだ。観察可能なものをすべて観察し、すべての値を固定すれば、ネットワーク内に余ったユニットはなくなる。

   

ネットワーク2

しかしネットワーク2は、人間の脳の働きにいくらか似たものの候補として、はるかに優れている。高速で、安価で、規模を拡大できる。そして中央に、周囲のノードを一つ残らず観察した後でも活性化が変化しうる、余分なぶら下がったユニットがある。

言い換えれば、物体が青か赤か、卵形か立方体か、毛に覆われているか滑らかか、明るいか暗いか、バナジウムを含むかパラジウムを含むかをすべて知った後でさえ、答えの出ていない問いが残っているように感じるしかし、これは本当にブレッグなのか?

日常の経験では、通常、音響振動と聴覚経験は一緒に起きる。しかし誰もいない森で木が倒れると、この普通の結びつきがほどかれる。そして、倒れる木が音響振動を生むが聴覚経験を生まないと知った後でさえ、問いが残っているように感じる音はしたのか?

私たちは冥王星がどこにあり、どこへ向かうかを知っている。冥王星の形も質量も知っている――しかし冥王星は惑星なのか?

ここで思い出してほしい。ここに示したネットワーク2を見るとき、あなたはアルゴリズムを外側から見ている。自分で「中央ユニットは発火すべきか、しないべきか?」と考える人はいない。自分で「視覚皮質のニューロン第12,234,320,242号は発火すべきか、しないべきか?」と考えないのと同じである。

自分の脳を外側から視覚化するには、意識的な努力が必要である。それでも実際の脳を見るわけではない。そこにあると自分が考えるものを想像する。願わくは科学に基づいて。しかしいずれにせよ、内省からニューラルネットワークの構造へ直接アクセスすることはできない。だから古代ギリシャ人は計算論的神経科学を発明しなかった。

ネットワーク2を見るとき、あなたは外側から見ている。しかし、もし自分自身がそのアルゴリズムを実行する脳であるなら、そのニューラルネットワーク構造が内側から感じられる仕方は、対象の特徴をすべて知った後でも、なお自分が「でも、これはブレッグなのか、違うのか?」と疑問に思う、というものだ。

これは越えるべき大きな隔たりであり、ここで立ち止まってしまう人を私は見てきた。私たちは直観を本能的に「直観」として見ず、ただ世界として見るからである。緑のカップを見るとき、視覚皮質で再構成された像を見ているとは考えない――実際に見ているのはそれなのだが――ただ緑のカップを見る。「ほら、このカップは緑だ」と考え、「このカップについて私の視覚皮質にある像は緑だ」とは考えない。

同じように、倒れる木が音を立てるか、冥王星が惑星かを論じるとき、人々は、自分のニューラルネットワークでカテゴリー化が活性化すべきかどうかを論じているとは見ていない。木が音を立てるか、立てないかのどちらかであるように思える。

私たちは冥王星がどこにあり、どこへ向かうかを知っている。冥王星の形も質量も知っている――しかし冥王星は惑星なのか? そして確かに、これは定義をめぐる争いだと言った人々もいた。しかしそれさえネットワーク2型の視点である。中央ユニットをどう配線すべきかを論じているからだ。ネットワーク1に沿って構築された心なら、「『惑星』をどう定義するかによる」とは言わず、「冥王星の軌道、形、質量を知っているのだから、問うべきことは何も残っていない」と言うだろう。いや、より正確には、ネットワーク1に沿って構築された心なら、そう感じるだろう。問いは何も残っていないように感じるだろう。

自分の直観を疑うには、心の目が見ているものこそ直観――何らかの認知アルゴリズムを内側から見た姿――であり、物事の真実のあり方を直接知覚したものではない、とまず気づかなければならない。

人々が直観へしがみつくのは、認知アルゴリズムが完全に信頼できると信じているからというより、直観を自分の認知アルゴリズムがたまたま内側からそう見える仕方として捉えられないからだと、私は思う。

そのため、生得的な認知アルゴリズムがどう道を誤るかについて何を言っても、相手が物事の真実のあり方を直接知覚したものと対比され、明らかに誤っているとして捨てられる。