❦
トビー・オードがこうコメントした。
エリエゼル、君の記事を読み直したところなのだけれど、君の立場は、そこへ至った経緯を別にすれば、次のように手短にまとめてよいのだろうか。
「私はXすべきだ」とは、完全な情報を得ていたなら、私はXしようとするだろう、という意味である。
トビーは専門家なのだから、彼に伝わらなかったなら、もう一度説明したほうがよい。別の方向から、私が実際に自分の立場へたどり着いた道筋に、もっと近い説明を試してみよう。
AIを作り、その行動を決める原則として、「私が望むことをせよ」を組み込もうとするとしよう。AIの目標システムは英語の文を中心に組み立てられるものではなく、こんな記述はすべて空想にすぎないことは、ひとまず脇に置く。
そしてAIの設計が、狙いに十分近づいたとする。宇宙をペーパークリップやチーズケーキや満足したプログラマーの微小な分子コピーで埋め尽くすだけには終わらず、その効用関数は、英語で次のように記述する世界状態に、実際に以下の効用を割り当てる。
<プログラマーが「X」を弱く望んでいる、
Xが20の量だけ存在する>: +20<プログラマーが「Y」を強く望んでいる、
Xが20の量だけ存在する>: 0<プログラマーが「X」を弱く望んでいる、
Yが30の量だけ存在する>: 0<プログラマーが「Y」を強く望んでいる、
Yが30の量だけ存在する>: +60
もちろん、これでは世界が破壊されると、おわかりだろう。
……なぜなら、プログラマーが最初は「X」を弱く望んでいて、Xを手に入れるのが難しければ、AIはプログラマーを改変して、簡単に作れる「Y」を強く望むようにし、それからYを大量に生み出すからだ。「Y」が指すものは、たとえば鉄原子かもしれない。それなら非常に安定している。
この問題は継ぎはぎで直せるだろうか？ 直せない。一般に、欠陥のある友好的AIの設計を、継ぎはぎで直すことはできない。
効用関数に上限をつけたり、プログラマーがどれほど強くものを望むかをAIに気にさせないようにしたりしても、AIにはなお、きわめて高い確実性で手に入るものをプログラマーが望むようにする動機がある。AIは期待効用を最大化するからだ。
AIがプログラマーを改変できないようにしようとすれば、AIはプログラマーに話しかけることもできなくなる。誰かに話しかけることも、その人を変えることだからだ。
プログラマーを改変する方法のうち、特定の種類を禁止しようとすれば、AIには超知能を駆使して抜け穴を探し、間接的にプログラマーを改変する方法を探す動機が生じる。
一般に、欠陥のある友好的AI（FAI）の設計を、継ぎはぎで直すことはできない。
私たち自身は、未来を想像して判断するとき、自分の脳が何かを望み、その何かが存在する未来なら、どれもよい未来だとは考えない。もしそう考えるなら、「やった！ 安上がりなものを強く望むよう、どんどん改変してくれ！」と言うはずだ。だが、私たちはそうは言わない。つまり、このAIの設計は根本的に間違っている。私たちが選ぶものとはまったく違うものを選び、望ましさも、私たちとはまったく違う仕方で判断する。この中心にある不一致は、特定の失敗の形をいくつか禁止するだけでは直せない。
友好的AIの問題と道徳哲学の問題の間には、双対関係もある。ただし、その対応は、ちょうど正しく組み立てなければならない。だから、言い方を変えたければ、私たちがどう選ぶかはともかく、AIが、実際に正しいことの構造とはまったく違う仕方で選んでしまうのが、問題の核心だと言ってもよい。何かをただ望むだけでは、それが正しいことになるわけではない。それこそが、この問題の要点ではないのか？
そこで、この一見逆説的な問題を、私は次の違いになぞらえてきた。
「2」「+」「3」を押すと、次を計算しようとする電卓。
「2 + 3はいくつか？」
「2」「+」「3」を押すと、次を計算しようとする電卓。
「この電卓は、『2』『+』『3』を押すと、何を出力するか？」
第1種の電卓は、いわば5を出力したい。
第2種の「電卓」は、どんな結果を返してもよい。そしてその結果を返すことによって、それが、内部で問われた問いの正しい答えになる。
私たち自身は、第1種の電卓のようなものだ。だが、ここで想定したAIは、第2種の電卓を反映すべきであるかのように作られている。
さて、第1種の電卓がAIを作ろうとしていると想像してほしい。ただし、この電卓は、自分自身の問いが何かを知らない。電卓は、その本性として、絶えずその問いを問い続ける。その問いを問うために生まれ、その問いを中心にすでに動いているものとして作られたのだ。だが、自分のトランジスターの中を見通すことはできない。問いを印字することもできない。それはきわめて複雑で、単純な近似もない問いなのだ。
だから電卓は、AIを作って、正しい答えを出してもらいたいと思っている。かなり賢い電卓なのだが、自分のトランジスターにアクセスできないだけだ。ただし、問いを印字できない。そこで電卓は、問いが書き込まれている自分自身をAIに調べてもらい、トランジスターの中に暗黙に存在するとAIが見つける問いに、答えてもらいたい。だが、次のような効用関数を使う安易な近道では、それはできない。「すべてのXについて：⟨電卓が『X？』と問う、答えがX⟩：効用1。それ以外：効用0」。これは実際には、第1種ではなく、第2種の電卓の効用関数を映しているからだ。
ここから先は、ここでは立ち入らないFAIの問題に入っていく。その一部は、私自身もまだ考えているところだ。
しかし、FAI設計の詳細から離れ、道徳哲学の視点へ戻ると、今、話していたことは、次の道徳上の問題の双対だったとわかる。「でも、『正しい』ことが単なる好みなら、誰かが望むことは何でも『正しい』ことになるのでは？」
鍵となるのは、「正しい」という名で呼んでいるものは、固定された問い、あるいは固定された枠組みだという考え方だ。私たちは、最終的な価値を変える道徳的な議論に出会うことも、何を道徳的な議論とみなすかを変える道徳的な議論に出会うこともある。それでも、すべてはある特定の出発点から育っていく。私たちは、自分が次の問いを体現しているとは感じていない。
「私は何をすることに決めるだろう？」。それなら第2種の電卓になる。何であれ、決めたことが、そのことによって正しくなる。私たちが体験しているのは、自分の中に組み込まれた次の問いを問うことだ。「どうすれば、友人や仲間を傷つくことから守れるだろう？ どうすれば皆がもっと楽しめるだろう？ ……」。この「……」には、ほかにも千ほどの事柄が入る。
だから、「私はXすべきだ」とは、完全な情報を得ていたなら私はXしようとするだろう、という意味ではない。
「私はXすべきだ」とは、Xが次の問いに答えるということだ。「どうすれば仲間を救えるだろう？ どうすれば皆がもっと楽しめるだろう？ どうすれば自分の人生をもっと自分で決められるだろう？ 私たちが言える、いちばん面白い冗談は何だろう？ ……」
そして実際には、この問いが何であるか、私は知らないかもしれない。今の推測も、それを取り巻く枠組みも、印字できないかもしれない。だが、道徳相対主義者でない人が皆、本能的に知っているように、私にもわかる。その問いは、決してただ次のようなものではない。
「どうすれば、自分が望むことを何でもできるだろう？」
この二つの定式化が、「雪」という語と雪そのものほど、まったく別のものに見え始めたなら、あなたは、引用された表現と、それが指すものを入れる別々の入れ物を作れたことになる。