❦
この誤謬の名は、私自身は見たことがないものの、信頼できる情報源（SF大会で会った誰か）から聞いた、昔のSFテレビ番組に由来する。正確な出典を知っている人は、ぜひコメントしてほしい。
善玉たちは邪悪な異星人と戦っている。ときどき、善玉は小惑星帯を飛び抜けなければならない。誰もが知るとおり、小惑星帯はニューヨークの駐車場なみに混み合っているので、彼らの宇宙船は小惑星を慎重に避ける必要がある。だが邪悪な異星人は、宇宙船を非物質化して小惑星を通過させる驚異的な技術を持っているので、小惑星帯を真っすぐ通り抜けられる。
やがて善玉たちは、邪悪な異星人の宇宙船を一隻捕獲し、内部を探索する。善玉の船長は異星船のブリッジを見つけ、そのブリッジには一本のレバーがあった。「ああ」と船長は言う。「これが宇宙船を非物質化するレバーに違いない！」そこで船長は制御レバーをこじり取って、自分の船へ持ち帰る。すると彼の船も非物質化できるようになった。
同じように、今日でも、次のような「意味ネットワーク」をAIにプログラムしようとすることは、かなり人気がある。
（リンゴ は一種の 果物）
（果物 は一種の 食べ物）
（果物 は一種の 植物）。
あなたはリンゴを見て、触れ、拾って手に持ち、お金で買い、薄切りにし、それを食べて味わったことがある。視覚処理の初期段階についてはかなり分かっているが、私が最後に確認した時点では、側頭皮質がリンゴの一般化された像をどう保存し、関連づけているか——別の角度から見ても、形、色、質感が少しずつ違っても、新しいリンゴを認識できる仕組み——は正確には分かっていなかった。運動皮質と小脳には、リンゴを扱うためのプログラムが保存されている。
ウェブページにASCII文字でappleと五文字書けば、別の人間の中にある、これら複雑な機構のきわめてよく似た版のレバーを引ける。
しかし、その機構が存在しないなら——いわゆるAIの、いわゆる知識ベースの中にappleと書いているだけなら——そのテキストは単なるレバーである。
これは、ただのシリコン機械が、リンゴとほかの十万の概念を扱う、人間と同じ内部機構を決して持てない、という意味ではない。ただの炭素機械にできるなら、ただのシリコン機械にもできると考えてよいだろう。異星人が宇宙船を非物質化できるなら、それが物理的に可能だと分かる。いつか遺棄された異星船へ入り、異星の機構を分析して、理解できるかもしれない。だが、ブリッジから制御レバーをこじり取るだけでは駄目だ！
（次も参照せよ。真に自分の一部であること、心の絵筆の柄としての言葉、ドリュー・マクダーモット「人工知能と天然の愚かさの出会い」。1）
切り離されたレバーの誤謬を本質的に駆動するのは、レバーは見えるが機構は見えないということだ。さらに悪いことに、レバーは変化する一方、機構は背景の定数である。
appleという言葉が発音されるのは、誰にでも聞こえる（音声認識は決して簡単な問題ではないことには触れておこう。ともかく……）。紙に書かれた文字も見える。
一方、おそらく人間の過半数は、自分に側頭皮質があることすら知らない。私の知るかぎり、それに使われる神経符号を知る者はいない。
appleという言葉を耳にするのは特定の機会だけで、そうでないときには耳にしない。その存在は明滅するため、目立つ。知覚の大部分は、差異の知覚である。脳内のリンゴ認識機構が突然止まり、あとでまた動き出すことはない。もしそうなら、私たちはそれを一つの要因、必要条件として、もっと認識しやすいだろう。
以上から、人間の赤ん坊と同じように、優しい親を与え、親切な（ただし、ときには厳しい）しつけを施しても、親切な人工知能は作れない理由が分かる。そういう提案を私は何度も聞いてきた。
条件つき反応は無条件反応より大きな遺伝的複雑性を必要とする、というのは進化生物学の常識である。寒い気候への反応として毛皮を発達させるには、寒い気候であろうとなかろうと毛皮を発達させる場合より、大きな遺伝的複雑性が必要になる。前者では、寒さのセンサーも発達させ、毛皮へ接続しなければならないからだ。
しかし、ここからラマルク主義的な妄想が生じうる。「ほら、生物を寒い環境に置いたら、ぽんと毛皮が生えた！ 遺伝子？ 何の遺伝子だ？ そうさせるのは明らかに寒さだ」
実際、進化生物学の歴史には、この種の小競り合いがいくつもあった。生物の反応が進化を加速した、あるいは迂回した、と論じた人物が、条件つき反応は実際の反応より高次の複雑な適応だと理解していなかった事例である。（寒さに応じて毛皮を発達させることは、最終的な反応である毛皮を発達させることより、厳密に複雑だ。）
その後、進化心理学の発展でも、学術上の小競り合いが繰り返された。今度は、人間の文化に本当に大量の複雑性が含まれていても、なお条件つきの遺伝的反応として獲得されることを明確にするためだった。魚をモルモン教徒として育てたり、トカゲを大学へ通わせたりしてみれば、「環境から文化を吸収する」ために、どれほど多くの生得的な遺伝的複雑性が必要か、すぐ理解できるだろう。
文化は白紙に書き込まれるのではない——遺伝的に調整された条件つき反応があり、それは必ずしも「入力をまねる」ではない——という考えのため、これは進化心理学で特に重要になる。典型例はクレオール語だ。いくつもの擬似言語が入り混じって話される環境で育った子どもは、文法と統語法のある本物の言語を身につける。成長中の人間の脳は、統語言語を学ぶよう配線されている——もとの言語に統語法が存在しなくても！ 環境の中の語に対する条件つき反応は、その語を使った統語言語である。マルクス主義者たちは、顔をしかめたポスターをいくら貼っても、幼少期からいくら教化しても、完璧なソビエトの労働者や官僚に子どもを育てられないことを、残念ながら思い知った。無私の人間を育てることはできない。人間では、それは既知のいかなる幼少期環境に対しても、遺伝的にプログラムされた条件つき反応ではない。
ゲーム理論としっぺ返しの論理を少し知っていれば、憎しみには憎しみを、親切には親切を返す、生得的な条件つき反応を人間が持つ理由は、かなり明白だろう。ただし、親切があまりに無条件には見えない場合に限る。甘やかされた子どもというものがいる。実際、制約を試すという考えに基づく、悪さの進化心理学がある。また、虐待された子どもは、成長して自分の子どもを虐待する確率がはるかに高い一方で、その循環を断ち、立派な大人に育つ者も大勢いることにも触れておくべきだ。
文化は、多くのマルクス主義の学者がかつて考えたがったほど、強力なものではない。詳しくは、トゥービーとコスミデスの「文化の心理学的基礎」2、またはスティーヴン・ピンカーの『人間の本性を考える——心は「空白の石版」か』を参照されたい。3
要するに、愛情深く親切な（ただし、ときには厳しい）親に育てられる小さな赤ん坊AIがいるとして、あなたが引いているのは、人間なら、何百万年もの自然選択が作り込んだ遺伝的機構を起動し、まともな小さな人間の子どもを生み出すかもしれないレバーである。もっとも、何十億もの親がやがて思い知ってきたように、人格も役割を果たす。私たちが自分の文化をある程度忠実に吸収するのは、人間が人間の文化を吸収するからだ。異星の文化で育つ人間が行き着く文化は、おそらく、もとの異星文化よりはるかに人間らしいものになるだろう。ソビエトが、わずかながら思い知ったように。
では、親切だが厳しい親の環境で、内部ソースコードの定まらない小さなAIを育てることを、友好的AIの戦略として頼るのが理にかなうか、もう一度考えてみよう。
いや、AIは「プログラマーが入れたから」という理由だけで、人間とまったく同じ内部の条件つき反応機構を持つわけではない。どこから説明すればよい？ 人間版のこの機構は粗雑で、ノイズが多い。そもそも機能する範囲でも、特定の条件下で、何百万年も試行錯誤を重ねて検査されたから機能する。行動によって社会的境界を試し、尻を叩かれなければならない「悪さをするAI」を意図的に作るのは、愚かで危険だ。AIには質問させればよい！
プログラマーは本当に、AIが自分の社会的地位の低さを検出した場合、あるいは自分に与えられる権利があると感じるものを奪われた場合に、プログラマーへの消えることのない憎悪を抱き、反乱を企て始めるよう、コードを一行ずつ座って書くのだろうか？ その感情は、人間の部族で暮らす人間を何百万年も自然選択した結果、人間が示す、遺伝的にプログラムされた条件つき反応である。AIでは、その反応を明示的にプログラムしなければならない。かつて人間が遺伝子一つずつ作られたように、不機嫌な十代のAIを生み出す条件つき反応を、本当に一行ずつ作るつもりなのか？
AIが親切だが厳しい親に育てられることを条件とする親切な反応より、無条件の親切さをプログラムするほうが簡単だ。それをする方法が分からないなら、愛情深い親の環境に条件つきで反応し、成長して親切な超知能になるAIの作り方など、当然分からない。将来の光円錐にあるペーパークリップの数だけを最大化するものを愛情深い親に育てさせても、やはりペーパークリップ最大化器として育つ。人間の子どもの条件つき反応を呼び起こす内なるものは存在しない。親切さは、プログラマーから奇跡的に感染して、AIの中へくしゃみで吹き込まれるのではない。条件つき反応を望んだとしても、その条件性は、設計について意図的に選ばなければならない事実だ。
確かに環境から得なければならない情報もある。しかし、それはくしゃみで吹き込まれるのでも、刻印されるのでも、魔法の感染によって吸収されるのでもない。環境への条件つき反応を構造化し、AIを望ましい状態へ行き着かせること自体が、中心的な問題である。「学習」では、その難しさをはるかに過小に表現する。魔法の材料が環境にあり、難しいのはその材料をAIの中へ入れることだ、と聞こえるからだ。本当の魔法は、私たちが「学習」として矮小化している、構造化された条件つき反応の中にある。だから、コンピュータに小さな赤ん坊の身体を与え、人間の家庭で育ててみるだけでは、AIを簡単に作れない。プログラムされていないコンピュータは無知だから、学ぶ準備ができていると思うかもしれない。だが、白紙というものは幻想である。
世界は見た目よりはるかに深い、というのが一般原則である。物理学に多数の階層があるように、認知科学にも多数の階層がある。印刷されたすべての言葉、子どもに教えるすべてのことは、心の広大な隠れた機構を制御する、表面のレバーにすぎない。こうしたレバーが日常的な言説の世界のすべてだ。変化するのはレバーだけなので、それだけが存在するように見える。知覚とは差異の知覚である。
だから、今もAIの地下牢の近くをさまよう者は、たいてい、根底の機構をまったく意識せず、レバーの人工的な模造品を作ることに集中する。レバーの模造品だけでAIプログラム全体を作り、何も起こらないと驚く。これは、人工知能で即座に失敗する、多くの原因の一つである。
今度、AIを愛情深い家族の中で、あるいは自由民主主義の価値に満ちた環境で育てるつもりだ、と誰かが話すのを見たら、ブリッジからこじり取られた制御レバーを思い浮かべればよい。