❦
Toby Ordはコメントした。
Eliezer、君の論考をたった今読み返した。これは君の立場の手短な要約として適切だろうか（その立場にどう至ったかは別にして）。
「私はXすべきだ」とは、私が十分な情報を得ていればXしようとする、という意味である。
Tobyは玄人である。彼が理解できなかったのなら、私はもう一度説明するべきだ。別の方向から説明してみよう。私自身が現在の立場に至った歴史的経路に、より近い方向である。
AIを構築するとしよう。AIの目標システムは英文を中心に構築できず、そのような説明はすべて夢にすぎないことはひとまず脇に置いて、「私の望むことをせよ」という行動決定原理をAIに吹き込もうとする。
そしてAIの設計を十分近くまで仕上げたとしよう。宇宙をペーパークリップやチーズケーキ、満足したプログラマの極小分子複製で敷き詰める結末にはならず、その効用関数が、私たちが英語で次のように説明する世界状態に、実際に次の効用を割り当てるところまで。
<プログラマが「X」を弱く欲し、
Xが20単位存在する>: +20<プログラマが「Y」を強く欲し、
Xが20単位存在する>: 0<プログラマが「X」を弱く欲し、
Yが30単位存在する>: 0<プログラマが「Y」を強く欲し、
Yが30単位存在する>: +60
むろん、これは世界を破滅させると気づくだろう。
……というのも、プログラマが最初「X」を弱く望み、Xの入手が難しいなら、AIはプログラマを改変し、簡単に作れる「Y」を強く望むようにしてから、大量のYを実現するからである。「Y」の指示対象は、たとえば鉄原子かもしれない。鉄原子は非常に安定している。
この問題に継ぎ当てを施せるか？ いや。一般則として、欠陥のある友好的AI（Friendly AI）の設計に継ぎ当てを施すことはできない。
効用関数に上限を設けたり、プログラマがものをどれほど強く望むかをAIが気にかけないようにしたりしても、AIには（期待効用最大化器として）、非常に高い確実性で入手できる何かをプログラマが望むようにする動機がなおもある。
AIがプログラマを改変できないようにするなら、AIはプログラマと話すこともできない（誰かと話すことはその人を改変することだからである）。
AIがプログラマを改変できる具体的な方法を一種類禁じようとすれば、AIには、抜け穴とプログラマを間接的に改変する方法を超知能的に探す動機がある。
一般則として、欠陥のあるFAI設計に継ぎ当てを施すことはできない。
私たち自身は、私たちの脳が何かを望み、その何かが存在するどんな未来も良い未来だと想像して判断したりはしない。もしこのように考えるのなら、「やった！ どうぞ私たちを改変して、安価な何かを強く欲するようにしてくれ！」と言うだろう。だが実際には言わない。これはこのAI設計が根本的に欠陥を持つことを意味する。AIは私たちの選ぶものとはかけ離れたものを選び、私たちの判断方法とはまったく異なる方法で望ましさを判断する。この核心的な不調和は、一握りの具体的な失敗モードを禁じることでは修正できない。
友好的AI問題と道徳哲学の問題の間には双対性もある。ただし、その双対性はまさに正しい形で構成しなければならない。だから望むなら、核心的な問題は、AIが、その、実際に正しいものの構造とはかけ離れた方法で選ぶことだと言える。私たちがどのように選ぶかはひとまず置いておこう。この問題の要点は、何かをただ望むだけではそれを正しいものにしないということではないか？
そこで、これが逆説的に見える問題であり、私が次の二つの違いに類比したものである。
「2」「+」「3」を押したとき、次を計算しようとする計算機。
「2 + 3はいくつか？」
「2」「+」「3」を押したとき、次を計算しようとする計算機。
「この計算機で『2』『+』『3』を押すと、何が出力されるか？」
いわばタイプ1の計算機は、5を出力したいと望んでいる。
タイプ2の「計算機」はどんな結果も返しうる。そしてその結果を返すという行為そのものにより、それが内部で問われた問いへの正しい答えになる。
私たち自身はタイプ1の計算機に似ている。しかし仮定されたAIは、タイプ2の計算機を反映するものであるかのように構築されている。
ここで、タイプ1の計算機がAIを構築しようとしていると想像しよう。ただし、タイプ1の計算機は自分自身の問いを知らない。計算機は、まさに自らの本性によって、絶えずその問いを発し続けている。その問いを発するよう生まれ、その問いの周りですでに動いた状態で創られたのである。しかし計算機は自分のトランジスタを洞察できない。その問いは極端に複雑であり、単純な近似を持たないため、問いを印字できない。
そこでこの計算機はAIを構築し、正しい答えをAIに出させたいと思う（自分のトランジスタにアクセスできないだけで、これはかなり賢い計算機である）。しかし計算機は問いを印字できない。だからAIにその計算機自身を調べさせ、そこに書かれている問い、そのトランジスタに暗黙に含まれているとAIが発見する問いに、答えさせたい。しかしこれは、「すべてのXについて：〈計算機が『X?』と問い、答えがX〉なら効用1、そうでなければ効用0」という効用関数の安価な近道では実現できない。これは実際にはタイプ1の計算機ではなく、タイプ2の計算機の効用関数を写し取っているからである。
ここから先は、ここでは立ち入らないFAIの問題に入る（その一部は私自身もまだ解明中である）。
しかしFAI設計の細部から後退し、道徳哲学の視点に戻ると、私たちがたった今語っていたことは、次の道徳的問題と双対であった。「しかし、『正しい』ことが単なる選好なら、誰かが望むものは何でも『正しい』ことになる」
鍵となる概念は、私たちが「正しい」と名づけるものは固定された問い、あるいは固定された枠組みだという考えである。私たちは、自分の終端価値を変更する道徳的議論に遇うことができ、道徳的議論として数えるものさえ変更する道徳的議論に遇うこともできる。それでも、そのすべては一つの特定の出発点から育つ。私たちは自分が次の問いを体現しているとは経験していない。
「私は何をすると決めるだろう？」これはタイプ2の計算機であり、私たちが決めたものは何でも、それによって正しくなる。私たちは、自分が次の体現された問いを発していると経験する。「何が私の友人や同胞を傷つくことから救うだろう？ どうすれば私たちはみな、もっと楽しめるだろう？ ……」ここで「……」の部分には、ほかに1000ほどの事柄がある。
したがって、「私はXすべきだ」とは、十分な情報を得ていれば私がXしようとする、という意味ではない。
「私はXすべきだ」とは、Xが次の問いに答えるという意味である。「何が私の同胞を救うだろう？ どうすれば私たちはみな、もっと楽しめるだろう？ どうすれば自分自身の生活をより自由にできるだろう？ 語りうるもっとも面白いジョークは何か？ ……」
そして私は、この問いが実際に何なのかを知らないかもしれない。現時点の推測も、それを取り囲む枠組みも、印字できないかもしれない。しかし、道徳相対主義者でない人すべてが本能的に知っているように、その問いが単に次のものではないことだけは、間違いない。
「どうすれば、自分の好きなことを何でもできるだろう？」
この二つの定式が「雪」と雪ほどに完全に異なって見え始めたとき、あなたは異なるバケツを引用と指示対象のために作ったことになる。