魔法のカテゴリー

	position: relative;

	position: absolute;
	width: 1.5em;
	left: 0.9em;
	text-align: right;

	.dataset::before,
	.dataset_plus::before,
	.dataset_minus::before {
		left: 0em;
	}

	content: ":";

	content: "+:";

	content: "−:";

❦

知的機械を、すべての人間に対する無条件の愛が第一の生得的感情となるよう設計することはできる。まず、人の表情、声、身体言語から幸福と不幸を認識することを学ぶ、比較的単純な機械を作ればよい。次に、その学習結果を、より複雑な知的機械の生得的な感情価値として組み込み、私たちが幸福なら正に、不幸なら負に強化することができる。

――ビル・ヒバード（2001年）、超知能機械1

これは査読付き学術誌に掲載され、著者は後にこの考えについて本を一冊丸ごと書いた。したがって、ここで私が論じているのは藁人形ではない。

では……ええと……いったい何がまずいことになりうるだろう……。

ヒバードのAIは最終的に、銀河を分子サイズの小さな笑顔で敷き詰めると、私が（第7.2節で）述べたところ、2ヒバードは憤慨した返答を書き、こう述べた。

超知能を構築できるようになるころには、「人の表情、声、身体言語」（あなたが引用した私の言葉を使えば）について、あなたや私のような現在の人間を上回る認識精度を持つ認識機構をハードウェアに組み込むことも可能になっている。それが「分子サイズの小さな笑顔の絵」に欺かれることなど、決してない。現在の人間にとって自明な識別さえできないほど、私の考えの実装が粗末だと仮定すべきではない。

ヒバードはまた、「このような明白に矛盾した仮定は、ユドコウスキーが理性よりドラマを好むことを示している」と書いたので、こちらも一つ指摘しておこう。ヒバードは重要な点を例証している。AIの倫理について語る許可を得る前に、専門資格試験を受ける必要はない、という点である。もっとも、これは今日の主題ではない。とはいえ、ゲーム盤の現状に関する重大な点ではある。AGI／友好的AI（FAI）志望者の大半は、この課題にあまりにも徹底的に不向きである。その惨状を想像できるほど冷笑的な人を、それをじかに見る前の人々の中には、私は一人も知らない。マイケル・ヴァッサーでさえ、初めて一巡したときにはおそらく驚いた。

いや、今日ここで解剖したいのは、「現在の人間にとって自明な識別さえできないほど、私の考えの実装が粗末だと仮定すべきではない」という言葉である。

昔々――私はこの話をいくつもの版で、いくつもの場所で見た。事実として引用されることもあるが、原典を突き止めたことはない――ともあれ昔々、米陸軍はニューラルネットワークを使い、偽装された敵戦車を自動検出したいと考えた。

研究者は、木々の間に偽装戦車が写った写真50枚と、戦車のない木々の写真50枚を使って、ニューラルネットを訓練した。標準的な教師あり学習の手法を使い、訓練集合を正しく読み込む重みへネットワークを訓練した。偽装戦車の写真50枚には「はい」を、森林の写真50枚には「いいえ」を出力するようになった。

もちろん、これだけでは新たな事例が正しく分類されると証明も示唆もされない。ニューラルネットワークは、新たな問題へ一般化できない100個の特殊事例を「学習」しただけかもしれない。「偽装戦車対森林」ではなく、単に「写真1は正、写真2は負、写真3は負、写真4は正……」と学んだだけかもしれない。

だが賢明にも、研究者はもともと200枚、戦車100枚と木々100枚の写真を撮り、その半分だけを訓練集合に使っていた。残り100枚をニューラルネットワークに処理させると、追加訓練なしで残る写真をすべて正しく分類した。成功が確認された！

研究者は完成した成果を国防総省に引き渡した。しかしほどなく返却され、国防総省自身のテストでは、写真を識別する成績が偶然を上回らないと苦情を言われた。

研究者のデータ集合では、偽装戦車の写真は曇りの日に撮られ、何もない森林の写真は晴れの日に撮られていたことが判明した。ニューラルネットワークが学んだのは、偽装戦車と空の森林を区別することではなく、曇りの日と晴れの日を区別することだった。

この寓話は事実かもしれないし、そうでないかもしれない。だがこれは、教師あり学習の分野、ひいては人工知能という分野全体で最も根本的な問題の一つを例証している。訓練問題と現実の問題の文脈にほんのわずかな違いでもあれば、つまり、同じ独立同分布の過程から抽出されていなければ、過去の成功から未来の成功を統計的に保証することはできない。訓練条件のもとでAIが見事に機能しているように見えても、関係ない。（これは解決不能な問題ではないが、応急処置のできない問題である。対処する深い方法はあるが――それは本稿の範囲を超える――絆創膏を貼って済ませる方法はない。）

超指数的な概念空間で述べたように、ありうる物体の数が属性数に対して指数的であるのと同じく、ありうる概念は、ありうる物体より指数的に多い。白黒画像の一辺が256ピクセルなら、画像全体は65,536ピクセルである。ありうる画像数は2^65,536である。そして、画像を正例と負例に分類するありうる概念の数、すなわち画像空間に引けるありうる境界の数は、2^265,536である。ここから、教師あり学習でさえ、そのほぼすべてが帰納バイアスの問題であるとわかる。それがなければ、時間を通じて分類が一定であったとしても、最低でも2^65,536個の分類済み事例がなければ、2^265,536個のありうる概念を識別できない。

そこで、もう一度次の文章へ戻ろう。

まず、人の表情、声、身体言語から幸福と不幸を認識することを学ぶ、比較的単純な機械を作ればよい。次に、その学習結果を、より複雑な知的機械の生得的な感情価値として組み込み、私たちが幸福なら正に、不幸なら負に強化することができる。

そして、

超知能を構築できるようになるころには、「人の表情、声、身体言語」（あなたが引用した私の言葉を使えば）について、あなたや私のような現在の人間を上回る認識精度を持つ認識機構をハードウェアに組み込むことも可能になっている。それが「分子サイズの小さな笑顔の絵」に欺かれることなど、決してない。現在の人間にとって自明な識別さえできないほど、私の考えの実装が粗末だと仮定すべきではない。

偽装戦車の写った写真と、空の森林の写真を、二枚が同一でないと判定するという意味で識別するのは簡単である。二枚は、異なる0と1からなる異なるピクセル配列である。識別は、配列が等しいかを検査するだけで済む。

正例または負例と分類された訓練写真の集合から推論し、新たな写真を「笑顔」の正例と負例に分類するのは、次元の異なる問題である。

現実のカメラから得た256×256画像があり、それが偽装戦車を描いていると判明しても、その正例性を示す65,537番目の追加ビットは存在しない。「この画像は本質的に正例である」と書かれた小さなXMLタグなどない。それは、何らかの特定の概念との関係でのみ正例なのである。

しかし、巨大ならざるどんな量の訓練データについても、つまり現在見ているビット単位でまったく同一の画像を含まないどんな訓練データについても、従来の分類と両立する概念が超指数的な数だけ存在する。

AIにとって、超指数的な数の可能性から選択したり重みづけしたりするのは、帰納バイアスの問題である。そのバイアスは、利用者が思い描いているものと一致しないかもしれない。この二つの事例分類過程、すなわち一方の帰納と他方の利用者の実際の目標との隔たりは、簡単に渡れるものではない。

AIの訓練データが次のようなものだとしよう。

さて、AIは超知能へ成長し、次のデータに遭遇する。

推論される分類のうちあなたが望むものが、次であるということは、これらのデータセットの性質ではない。

次ではなく、

この二つの分類は、どちらも訓練データと両立する。複数の概念が結合データセットに同じ影を投じうるので、訓練データと両立する概念の数はさらに多い。ありうる概念の空間が、事例を分類するありうる計算の空間を含むなら、その空間は無限である。

AIはどちらの分類を選ぶのか？ これは訓練データに本来備わった性質ではなく、AIがどう帰納を行うかの性質である。

どちらが正しい分類なのか？ これは訓練データの性質ではなく、あなたの選好の性質である（あるいは、そう呼びたいなら、あなたが理想化された抽象的ダイナミクスを「正しい」と名づける、そのダイナミクスの性質である）。

あなたが望んだ概念は、あなた自身が各事例に＋または−のラベルをつけたとき、訓練データにその影を投じた。ラベルづけには、あなた自身の知性と選好が用いられた。それこそが教師あり学習の本質である。すなわち、ラベルを生成した因果過程の影を投じる、ラベルつき訓練事例をAIに与えることである。

だが、訓練データが現実とまったく同じ文脈から抽出されないかぎり、訓練データは何らかの意味で「浅い」もの、はるかに高次元の可能性空間からの射影となる。

AIは、人間より愚かな訓練段階で、分子サイズの小さな笑顔を一度も見なかった。あるいは、幸福カウンターをグーゴルプレックスに設定した小さな主体を一度も見なかった。さて、分子サイズの小さな笑顔、あるいは人間の顔をきわめて写実的に再現した小さな彫刻をついに示されたあなたは、それがあなたの笑顔として数えたいものではないと即座にわかる。だが、その判断が反映するのは非自然的なカテゴリーであり、その分類境界はあなたの複雑な価値に敏感に依存している。「違う！」と言うとき、働いているのはあなた自身の計画と欲望である。

ヒバードは、分子サイズの小さな笑顔が「笑顔」ではないと本能的に知っている。それが、自分の想定するAIにさせたいことではないと知っているからだ。別の人が、芸術作品の分類のような異なる課題を与えられたなら、モナ・リザは、たとえばしかめ面ではなく、明らかに微笑んでいると感じるかもしれない。それが絵具にすぎなくても、そうである。

テリー・シャイボの事例が示すように、技術は新たな境界事例を可能にし、私たちを新しい、本質的に道徳的なジレンマへ投げ込む。古代ギリシャ時代に存在した生者と死者の写真をAIに見せても、テリーの生命維持装置を切ることが殺人に当たるかどうかという道徳的な判断を下せるようにはならない。その情報は、帰納的にすらデータセットに存在しない！ テリー・シャイボの事例は、新たな道徳的考慮に訴える新たな道徳的問いを提起する。それは、古代ギリシャ時代の生者と死者の写真を分類するときには考える必要のなかった問いである。当時、脳の半分が液体になってもなお呼吸し、生命維持装置につながれていた者はいなかった。したがって、そのような考慮事項は、古代ギリシャの訓練データを分類するために用いる因果過程で何の役割も果たさず、ゆえに訓練データへ影を投じず、ゆえに訓練データに対する帰納からはアクセスできない。

形式的な誤謬として見ると、ここには擬人的な誤りが二つ現れている。

第一の誤謬は、その価値のために私たちが発達させる概念の複雑さを過小評価することである。境界事例がこれまで見たことのない種類なら、概念の境界は多くの価値に、おそらくその場で行う道徳的推論にも依存する。だが、それはすべて背景で目に見えないまま進む。ヒバードには、分子サイズの小さな笑顔が明らかに笑顔でないように見えるだけである。そして私たちは、ありうる境界事例をすべて生成するわけではないため、概念を再定義する役割を果たすかもしれないが、まだ定義する役割を果たしていない考慮事項のすべてを思いつきはしない。人は自分の概念の複雑さを過小評価するため、訓練データから概念を帰納する難しさも過小評価する。（さらに、概念を直接記述する難しさも過小評価する。願いに隠された複雑さを参照。）

第二の誤謬は、擬人的楽観主義である。ビル・ヒバードは自分自身の知性を使い、自分の選好順序で高い位置に来る選択肢と計画を生み出すので、超知能が、これまで見たことのない分子サイズの小さな笑顔を「笑顔」の正例として分類しうるという考えを信じられない。ヒバードが「笑顔」という概念を使う仕方では（超知能の望ましい行動を記述するために使う）、分子サイズの小さな笑顔を含むよう「笑顔」を拡張することは、彼の選好順序で非常に低く位置づけられる。それをするのは愚かなことである。しかも、概念自体の性質として本質的に愚かだ。だから超知能なら、そんなことはしないはずだ。これは明らかに間違った分類である。確かに超知能なら、どの小石の山が正しく、どれが間違っているかを見抜けるはずだ。

なんと、友好的AIはまったく難しくない！ 必要なのは、善いことをするAIだけだ！ もちろん、ありうるすべての心が善いことをするわけではない。だが、この場合は、超知能が善いことをするようプログラムすればよい。必要なのは、善いものと善くないものの事例をいくつか見るニューラルネットワークだけで、それでもう分類器が手に入る。それを期待効用最大化器につなげれば完成だ！

私はこれを「魔法のカテゴリー」の誤謬と呼ぶことにする。AIに望まれる機能をすべて担っていると判明する、単純で短い言葉のことである。勝ちと負けに至るチェスの手順の集合にニューラルネットワーク（すなわち魔法のカテゴリー吸収器）を走らせ、「勝つ」手順を生成できるようにすれば、チェスプレイヤーをプログラムできるのではないか？ 1950年代には、AIはそれほど単純かもしれないと信じられていたが、実際にはそうでないと判明した。

初心者は、友好的AIの問題とは、AIが自分の欲望に従うのではなく、あなたの望むことをさせるようAIを強制する問題だと考える。だが友好的AIの本当の問題は伝達の問題である。つまり、AIの幼少期に与えられるいかなる訓練データでも完全には線引きできない、「善い」のようなカテゴリー境界を伝えることである。未来が包含する可能性の全空間と比べれば、私たち自身も境界事例の大半を想像したことがなく、それを解明するには本格的な道徳的議論をしなければならないだろう。FAI問題を解くには、人間がラベルづけした訓練データへの帰納というパラダイムと、人間が生成した内包的定義というパラダイムの外へ出なければならない。

もちろん、ヒバードが「笑顔」と分類するあらゆる人間の表情を正確に含み、彼が「笑顔」と分類しないあらゆる表情を除外する概念を、AIへ伝えることに成功したとしても……。

すると、そのAIは、自分のプログラマーを喜ばせることでしか笑顔を生み出せないほど弱い幼少期には、正しく機能しているように見えるだろう。

AIが超知能と独自のナノテクノロジー基盤を持つ段階に進めば、あなたの顔を引きはがして永久の笑顔へ固定し、その複製を始めるだろう。

このような問題への深い答えは本稿の範囲を超えるが、友好的AIには絆創膏で済む応急処置がない、という一般原則がある。2004年、ヒバードは提案を修正し、人間の同意表現が幸福の定義を強化し、次に幸福がほかの行動を強化すべきだと主張した。たとえそれが機能しても、AIが自らの概念空間で、次のように言うプログラマーに似たものの大群を複製する結果にしかならない。

水素原子を前に「そう、それが幸福だ！」と。水素原子は簡単に作れる。

ヒバードとの議論へのリンクはこちら。重要な部分は、もうすべて読んだ。