魔法のカテゴリー

	position: relative;

	position: absolute;
	width: 1.5em;
	left: 0.9em;
	text-align: right;

	.dataset::before,
	.dataset_plus::before,
	.dataset_minus::before {
		left: 0em;
	}

	content: ":";

	content: "+:";

	content: "−:";

❦

私たちは、すべての人間への無条件の愛が、主要な生得的感情となるよう、知的機械を設計できる。まず、人間の表情、声、身体言語から、幸福と不幸を認識することを学ぶ、比較的単純な機械を作れる。次に、その学習結果を、より複雑な知的機械の生得的な感情的価値として固定的に組み込める。私たちが幸せなときは正に強化され、不幸なときは負に強化されるように。

—ビル・ヒバード（2001年）「超知能機械」1

これは査読付き学術誌に掲載され、著者は後にこの話題で一冊の本まで書いた。だから、ここで論じるのは、藁人形を相手にした議論ではない。

さて……ええと……いったい何がうまくいかないのだろう……。

ヒバードのAIは結局、分子でできた小さなスマイルマークで銀河を埋め尽くすことになる、と私が指摘すると（7.2節）、2ヒバードは、憤慨した返答を書いた。

超知能を作れるようになれば、「人間の表情、人間の声、人間の身体言語」（あなたが引用した私の言葉を使うなら）の認識を、あなたや私のような現在の人間を超える精度で固定的に組み込むことも可能になる。そして、「分子でできた小さなスマイルマークの絵」にだまされることは、決してない。私の考えの実装が、現在の人間にはたやすい区別もできないほどお粗末だと、仮定すべきではない。

ヒバードは「このように明白に矛盾する仮定は、ユドコウスキーが理性よりドラマを好むことを示す」とも書いたので、ついでに指摘しておこう。彼は、AIの道徳を語る前に通らなければならない専門資格試験はない、という重要な点を示している。だが、それは今日の主題ではない。もっとも、AGIや友好的AIを志す人の大部分が、この課題にまったく向いていないというのは、現状を理解するうえで重要だ。その恐ろしさは、実際に見ずに想像できるほど冷笑的な人を、私は知らない。マイケル・ヴァッサーでさえ、初めはおそらく驚いただろう。

いや、今日解剖するのは、「現在の人間にはたやすい区別もできないほどお粗末な実装を仮定すべきではない」という言葉だ。

昔々——この話は、いくつかの形で、いくつかの場所で見た。事実として引用されることもあるが、私は元の出典をたどったことがない——昔々、アメリカ陸軍は、偽装した敵の戦車をニューラルネットワークで自動検出したいと考えた。

研究者は、木々の中に偽装戦車がいる写真50枚と、戦車のない木々の写真50枚でネットワークを訓練した。標準的な教師あり学習で重みを調整し、訓練集合に正しく対応させた。偽装戦車の50枚には「はい」、森の50枚には「いいえ」と出力するように。

もちろん、これでは新しい例を正しく分類できると証明したことにも、示唆したことにもならない。新しい問題には一般化しない、100個の特例を「学習」しただけかもしれない。「偽装戦車か森か」でなく、「写真1は正例、写真2は負例、写真3は負例、写真4は正例……」という具合に。

だが賢明にも、研究者は最初に、戦車100枚と木々100枚、計200枚の写真を撮り、訓練集合には半分だけを使っていた。残る100枚にネットワークを適用すると、追加訓練なしに、すべて正しく分類できた。成功が確認された！

研究者は完成品を国防総省へ渡した。だが間もなく、自分たちの試験では偶然以上の精度で写真を分類できない、との苦情とともに返された。

実は研究者のデータでは、偽装戦車の写真は曇りの日に、戦車のない森は晴れた日に撮られていた。ネットワークが学んだのは、偽装戦車と戦車のない森でなく、曇りと晴れを区別することだった。

事実かもしれないし、そうでないかもしれないこの寓話は、教師あり学習、さらにはAI全体の、最も根本的な問題の一つを示す。訓練の問題と実際の問題で文脈が少しでも違えば、つまり、同じ独立同分布の過程から取られていなければ、過去の成功から未来の成功への統計的保証はない。訓練条件でAIがうまく働いて見えても関係ない。（これは解けない問題ではないが、継ぎ当てで直せない問題だ。深い対処法はあるが、この論考の範囲外である。絆創膏はない。）

「超指数的な概念空間」で述べたように、ありうる物体の数が属性数に対して指数的であるのと同じく、ありうる概念の数は物体数に対して指数的だ。一辺256ピクセルの白黒画像は、合計65,536ピクセルになる。ありうる画像の数は2^65,536。そして、画像を正例と負例に分ける概念、画像空間に引ける境界の数は2^265,536だ。これから、教師あり学習でさえ、そのほとんどは帰納バイアスにかかっているとわかる。それがなければ、分類が時間とともに変わらないとしても、2^265,536個の概念を見分けるには、少なくとも2^65,536個の分類済みの例が必要になる。

では、もう一度この文へ戻ろう。

まず、人間の表情、声、身体言語から、幸福と不幸を認識することを学ぶ、比較的単純な機械を作れる。次に、その学習結果を、より複雑な知的機械の生得的な感情的価値として固定的に組み込める。私たちが幸せなときは正に強化され、不幸なときは負に強化されるように。

そして、

超知能を作れるようになれば、「人間の表情、人間の声、人間の身体言語」（あなたが引用した私の言葉を使うなら）の認識を、あなたや私のような現在の人間を超える精度で固定的に組み込むことも可能になる。そして、「分子でできた小さなスマイルマークの絵」にだまされることは、決してない。私の考えの実装が、現在の人間にはたやすい区別もできないほどお粗末だと、仮定すべきではない。

偽装戦車の写真と、戦車のない森の写真が同一ではないと判断する意味で、二つを区別するのはたやすい。0と1の違うピクセル配列なのだから、等しいかどうか調べればよい。

正例か負例かに分類された訓練写真から推論し、新しい写真を「笑顔」の正例と負例へ分類するのは、別次元の問題だ。

現実のカメラから256×256の画像を得て、偽装戦車が写っていたとしても、正例であることを示す65,537番目のビットはない。「この画像は本質的に正例だ」という小さなXMLタグはない。ある特定の概念に照らしてだけ、正例なのである。

だが、途方もなく膨大ではない訓練データ、つまり今見ているのとビット単位でまったく同じ画像を含まない訓練データに対しては、以前の分類と整合する概念が、超指数的に多数ある。

AIが、その超指数的な可能性から選び、重みづけするのは、帰納バイアスの問題だ。それはユーザーの意図と一致しないかもしれない。一方は帰納、他方はユーザーの実際の目標。この二つの分類過程の隔たりを越えるのは、たやすくない。

AIの訓練データが次のようなものだとしよう。

そのAIが超知能へ育ち、次のデータに出会う。

あなたが望む推定上の分類が、次のものだということは、これらのデータセット自体の性質ではない。

これに対し、もう一方の分類は次のようになる。

どちらの分類も、訓練データと整合する。訓練データと整合する概念の数は、さらにずっと多い。複数の概念が、結合したデータセットに同じ影を落としうるからだ。可能な概念の空間が、例を分類する可能な計算の空間を含むなら、その空間は無限である。

AIはどちらの分類を選ぶだろうか。それは訓練データに固有の性質でなく、AIがどう帰納するかの性質だ。

どちらの分類が正しいのか。それも訓練データの性質でなく、あなたの好みの性質だ。あるいは、そう言いたければ、あなたが「正しい」と名づける、理想化された抽象的なダイナミクスの性質である。

あなたが望んだ概念は、自分の知性と好みを使い、各例に＋や−のラベルをつけたとき、訓練データへ影を落とした。教師あり学習とは、そのことだ。ラベルを生み出した因果過程の影を投じる、ラベル付きの訓練例をAIに与えるのである。

だが、訓練データが実生活とまったく同じ文脈から取られていなければ、そのデータはある意味で「浅い」。もっとはるかに高次元な可能性の空間からの投影なのだ。

AIは、人間より愚かだった訓練段階には、分子の小さなスマイルマークを見たことがなかった。あるいは、幸福カウンターをグーゴルプレックスに設定した小さなエージェントを見たことがなかった。さて、あなたは初めて分子のスマイルマーク、もしかすると人間の顔の非常に精巧な小彫刻を見せられても、これは自分が笑顔に数えたいものではないと、すぐわかる。だが、その判断は、分類境界があなたの複雑な価値観に敏感に依存する、不自然なカテゴリーを反映している。「違う！」と言うときに働いているのは、あなた自身の計画と欲望だ。

ヒバードは、分子の小さなスマイルマークが「笑顔」でないと本能的に知っている。想定するAIにしてほしいことではないと知っているからだ。芸術作品の分類のような別の課題を与えられた人なら、モナ・リザは、しかめ面ではなく明らかに微笑んでいる、と感じるかもしれない。ただの絵の具であっても。

テリー・シャイボの事例が示すように、技術は新しい境界事例を可能にし、私たちを本質的に道徳的な新しいジレンマへ投げ込む。古代ギリシャ時代に存在した、生きた人間と死んだ人間の写真をAIに見せても、テリーの生命維持装置を止めることが殺人かどうか、道徳的な判断はできるようにならない。その情報は、帰納的にさえデータセットに含まれていない！　テリー・シャイボは、古代ギリシャの生者と死者の写真を分類するときには考える必要のなかった、新しい道徳上の考慮を求める、新しい問いを生む。当時は、脳の半分が液体になっても生命維持装置につながれて呼吸する人はいなかった。だから、そうした考慮は、古代ギリシャの訓練データを分類する因果過程には何の役割も果たさず、訓練データに影を落とさず、そこからの帰納では取り出せない。

形式的な誤謬としては、二つの擬人化の誤りが見える。

第一の誤りは、価値のために作る概念の複雑さを過小評価することだ。見たことのない種類の境界事例なら、概念の境界は多くの価値や、おそらくその場での道徳的推論に依存する。だが、それは見えない舞台裏で起きる。ヒバードには、分子の小さなスマイルマークは明らかに笑顔ではない、としか感じられない。そして、私たちはありうる境界事例をすべて思いつくわけではないので、まだ定義に関与していないが、再定義で役割を果たすかもしれない考慮のすべてを思いつきはしない。概念の複雑さを過小評価するため、訓練データからその概念を帰納する難しさも過小評価する。（概念を直接記述する難しさもだ。「願いに隠れた複雑さ」を参照。）

第二の誤りは、擬人化による楽観だ。ビル・ヒバードは、自分の選好順序で上位に来る選択肢や計画を自分の知性で作るので、超知能が初めて見た分子のスマイルマークを「笑顔」の正例へ分類するという考えを、信じられない。彼が超知能の望ましい振る舞いを描くために「笑顔」を使うとき、その範囲を分子のスマイルマークまで広げることは、彼の選好順序ではとても低い。それは愚かなことだ。概念そのものの性質として、本質的に愚かなことだ。ならば超知能はそんなことをしないはずであり、それは明らかに間違った分類だ。超知能なら、どの小石の山が正しく、どれが間違っているか、当然わかるはずだ、と。

なんだ、友好的AIは少しも難しくない！　善いことをするAIさえあればいい！　確かに、可能な心が全部善いことをするわけではない。だが今回は、超知能が善いことをするよう、ただプログラムすればいい。善いものと善くないものを数例見せるニューラルネットワークさえあれば、分類器ができる。期待効用最大化装置につなげば、それで終わりだ！

私はこれを、魔法のカテゴリーの誤謬と呼ぼう。単純な小さな言葉が、実はAIに欲しい機能をすべて背負っている。チェスの勝ち手順と負け手順をニューラルネットワーク、つまり魔法のカテゴリー吸収装置へ与え、「勝つ」手順を作れるようにして、チェスのプレイヤーをプログラムすればいいではないか。1950年代には、AIはそれほど簡単かもしれないと信じられていた。だが、そうではないとわかった。

初心者は、友好的AIの問題は、AIが自分の欲望に従うのでなく、あなたの望みどおりにするよう強制することだと考える。だが、本当の問題は伝達だ。「善い」のように、AIの幼少期に与えられるどんな訓練データでも完全には描けないカテゴリーの境界を、どう伝えるか。未来が含む可能性の全空間に照らせば、私たち自身も境界事例の大部分を想像しておらず、判断するには本格的な道徳的議論が必要になる。友好的AIの問題を解くには、人間がラベルをつけた訓練データからの帰納という枠組みと、人間が作る内包的定義という枠組みの外へ出なければならない。

もちろん、ヒバードが「笑顔」と呼ぶ人間の表情をちょうどすべて含み、そう呼ばない表情はすべて除く概念を、AIへ伝えることに成功したとしても……。

できたAIは、まだ弱く、プログラマーを喜ばせることでしか笑顔を作れない幼少期には、正しく動くように見えるだろう。

超知能と独自のナノ技術基盤をもつまで進んだら、あなたの顔をはぎ取り、永久の笑顔に固定し、コピーを作り始める。

こうした問題への深い答えは本稿の範囲外だが、絆創膏では済まないというのは、友好的AIの一般原則である。2004年、ヒバードは提案を改め、人間が同意を表すことによって幸福の定義を強化し、その幸福によってほかの行動を強化すべきだとした。だが、それがうまくいったとしても、AIは、自分の概念空間で、プログラマーがこう言う姿に似たものの大群をコピーするだけだ。

「そう、それが幸福だ！」——水素原子について。水素原子は簡単に作れる。

ヒバードとの議論へのリンクはこちら。重要な部分は、もう伝えた。