非公式日本語訳 — 原著者・発行元による公式の翻訳ではありません

Eliezer Yudkowsky — 非公式日本語訳

技術への愛の中で育って

Raised in Technophilia

❦

父はよく、今の制度が100年前にもあったなら、鞍の産業を守るために自動車は禁止されていただろう、と言っていた。

子どものころ、大きな影響を受けたものの一つが、9歳で読んだジェリー・パーネルの『さらに一歩、外へ』だった。これは、1960年代と1970年代に、地球の資源は枯渇しかけており、大飢饉まであと数年しかないと言っていた、ポール・エーリックやローマクラブへの返答だった。ジェレミー・リフキンの、いわゆる熱力学第四法則への返答でもあり、原子力を怖がり、規制によって消し去ろうとするあらゆる人への返答でもあった。

私は、「善玉」と「悪玉」の境界線がかなり明確な世界で育った。終末の最終決戦ではなく、何度も繰り返し戦わなければならない戦いだ。産業革命にまでさかのぼる歴史の反響が見え、実際にどんな結果になったかについて、歴史的証拠を集められる戦いだった。

一方には、暗黒時代以来の生活水準の向上をすべて推し進めてきた科学者と技術者がいた。彼らの仕事が、民主主義、教育ある民衆、中産階級、奴隷制の廃止といった贅沢を支えていた。

他方には、かつて天然痘の予防接種、出産時の麻酔、蒸気機関、地動説に反対した人々がいた。存在したこともない完璧な時代への回帰を唱える神学者、考えの固まった年配の白人男性政治家、損をする立場にある利益団体、そして科学がちんぷんかんぷんで、理解できないものを恐れる大勢の人々だ。

そして中間を演じようとする、深遠な知恵を装う者たち。技術が人類のためになるのは適切に規制された場合だけだ、という受け売りの考えを口にする。動かしがたい歴史的事実に反して、科学自体は善でも悪でもないと主張する。厳めしい官僚的委員会を設け、慎重さを大げさに見せつけ、拍手を待つ。まるで真実がいつも妥協であるかのように。まるで誰かに、そんなに先まで見通せるかのように。火を使い始めることについて、誠実で、懸念に満ちた公開討論を行い、その使用を監督する委員会を設けていたら、人類はもっとうまくやれただろうか?

私がこの問題に取り組み始めたときには、すでに、「だがね、坊や、技術には便益だけでなくリスクもあるのだよ」という型に当てはまるものに、アレルギーができていた。まず有罪とみなす。安易な拍手を集めようとしているか、ひそかに技術を規制で消し去ろうとしているかの、どちらかだ。そしてどちらにせよ、人々がかつて懸念した技術に圧倒的に有利な歴史的記録を無視している。

ロビン・ハンソンが、他国では承認済みの薬に対するFDAの承認の遅さを話題にした。コメント欄で誰かが指摘した。サリドマイドは50か国で40の名称で販売されたが、米国では少量が無料配布されただけだった。そのため、世界では先天的な形態異常のある子どもが1万人生まれたが、米国では17人だけだった、と。

だが、他国ではもっと速く承認された薬――問題を起こさなかったすべての薬――の米国での承認が遅れたために、何人が死んだのだろう? この問いを挙げるのは、統計を集めようとできることだからだ。承認過程が長く高くつくために、そもそも開発されなかった薬のすべてについては、この問いは何も言っていない。この情報源によれば、FDAの長い承認過程は、有害と判明した薬を除外することで年間5000人の犠牲を防ぐ一方、なお開発され、いずれ承認される有益な薬の承認を遅らせるだけで、年間少なくとも2万~12万人の犠牲を生んでいる。

だから、「技術には便益だけでなくリスクもある」と言って回る人にアレルギー反応を起こす、本当の理由はある。過度に慎重だったことを示す歴史的記録がある。規制による多くの静かな死より、規制しなかったための少数の目立つ死が重く扱われるのだ。本当に中間に立つなら、なぜ「技術にはリスクだけでなく便益もある」と言わないのか?

そして、これは「悪玉」の描写として、それほど悪くはない。ただし、彼らは邪悪な突然変異体ではなく、自分たちを正しい側に置く、別の世界観のまとまりのもとで行動する普通の人間だということは、もっと強調すべきだった。中にはほかの人より有能な者も必ずおり、有能さは大きな違いを生む。振り返っても、子どものころの技術好きだった私が、何が悪玉を作り、どこに核心的な間違いがあるかについて、ひどく間違っていたとは思わない。だが、何をしてはいけないかを言うのは、正しくやるより、いつでもずっと簡単だ。そして当時の私の根本的な欠陥の一つは、悪玉がしていることをすべて全力で避けようとすれば、自分は善玉になれると思っていたことだった。

特に有害だったのは、中道を確保しようとする、深遠な知恵を装う人々の悪い手本だったと思う。技術好きにも技術嫌いにも、見下したようにほほえみ、どちらも未熟だと言う。それは確かに、間違った道の一つだ。実際、中道を確保しようとするという考えは、一般に間違っていることが多い。正しい道は、何かとの妥協ではない。それ自体の基準が、混じりけなく表れたものだ。

だが、そのため若いエリエゼルは、ひたすら前進せよという結論から離れにくくなった。少しでも離れれば何であれ、深遠な知恵を装う連中の仲間になるように感じたからだ。

子ども時代からの技術への愛に最初のひびが入ったのは、たしか1997年か1998年、同じ技術好きの仲間が、分子ナノテクノロジーは簡単に管理できる問題だ、と愚かなことを言っているのに気づいたときだった。(もうお気づきかもしれないが、若いエリエゼルを動かしていたものの相当な部分は、欠点を見つける能力だった。そのようなことをするのがよい理由について、独自の哲学さえ持っていた。)

分子ナノテクノロジーでは、攻撃のほうが防御より非対称的に容易になるのか、という議論があった。そして、防御は簡単だと主張する人々がいた。まったく、グー神にかけて、ナノテクノロジーの話だぞ。プログラム可能な物質なのだ。0と1を一つ残らず観測し制御できるコンピューターネットワークでさえ、セキュリティ問題を解決できているようには見えないのに。人々は、突破不可能なダイヤモンド状物質の壁について話していた。私は、ダイヤモンドでは核兵器を防げないこと、1945年以来、攻撃は防御を上回っており、ナノテクノロジーもそれを変えそうには見えないことを指摘した。

そして、その議論が終わるころには、白熱した議論に巻き込まれた若いエリエゼルも、地球に由来する知的生命の存続が危険にさらされている、と初めて気づくことができたらしい。

振り返ると、未来にかかっているのは個々の人命だけだと思っていた時期があるなんて、とても奇妙だ。それは、なんと根本的にやさしい世界だったことか……。当時、そう考えていたわけではないが。私はその可能性を退けていたというより、そもそも一度も目に入れずにいた。実際に話題になれば、気づいたのだ。この芸当がどう働いたのか、よく覚えていない。私が昔の自分を三人称で呼ぶのには、理由がある。

エリエゼル1998は、まったくの馬鹿だったように聞こえるかもしれない。だが、それはある意味、気楽な逃げ道だ。真実はもっと恐ろしい。エリエゼル1998は、当時の基準では鋭い伝統的合理主義者だった。仮説は検証可能でなければならないと知っていた。合理化は許されない思考操作だと知っていた。合理主義者のタブーのやり方も知り、自己認識に取りつかれていた……。ただ、「謎めいた答え」の概念は、よくわかっていなかった……。ベイズもカーネマンも、まったく知らなかった。それでも、平均をはるかに上回る、鋭い伝統的合理主義者だった……。だから何だ? 自然は相対評価で採点してくれない。道から一歩外れ、思考過程に不当な影響が一押し加わるだけで、ほかの防護はすべて無効になりうる。

自分の過去を振り返って得る主な教訓の一つは、現実の世界で多くの人が「知能がすべてではない」と考えたり、合理主義者は実生活で別にうまくやっていないと考えたりするのも、無理はないということだ。少しの合理性、あるいは多くの合理性でさえ、物事が実際に機能し始めるために必要な、天文学的に高い障壁を越えられない。

正しい道について私が誤解したことを、パーネルや父や、SF全般のせいにしないでほしい。彼らの教えのどの部分が届くかを、若いエリエゼルの性格は、かなり選り分けていたと思う。パーネルが、ゆりかごである地球を離れたら規則は変わる。与圧服の密閉を一度でも不注意にすれば死ぬ、と言わなかったわけではない。何度も言っていた。だが、その言葉はそれほど大事には思えなかった。小説の脇役に起きることだったからだ。なぜか主人公は、たいてい途中では死ななかった。

私はどんなレンズで、こうした教えを選り分けていたのか? 希望。楽観。より明るい未来への期待。私にとって『さらに一歩、外へ』の根本的な意味はそれであり、シエラクラブの暗い破滅論との対比で受け取った教訓だった。一方には合理性と希望があり、他方には無知と絶望があった。

十代の若者には、自分は死なないと思ってオートバイに乗る者もいる。私にはそんな幻想はなく、猛スピードで飛んでいく金属の塊が危険そうに見えて、運転を習うのにもかなり消極的だった。だが、自分の命より大切なものがあった。「未来」だ。そして私は、そちらは不死であるかのように行動した。命は失われても、未来は失われない。

では、ナノテクノロジーは、本当に絶滅を招きうる規模の難題になると気づいたときは?

若いエリエゼルは、はっきりこう考えた。「なんてことだ。当たり前のはずのことに、どうして気づかなかった? 技術から期待していた便益に、感情的に執着しすぎていたに違いない。人類絶滅という考えから、反射的に目をそらしていたに違いない」

そして、それから……。

私は、停止・融解・発火(Halt, Melt, and Catch Fire)を宣言しなかった。以前の態度で導いていた結論すべてを、考え直しはしなかった。ただ、影響がほかへ波及するのを最小限にとどめながら、どうにかして世界観へ組み込んだのだ。古い考えや計画は揺さぶられたが、私の心は、それを保つ理由を見つけた。残念ながら、体系全体が崩れることはなかった。

特に目立つのは、ナノテクノロジーより先に開発するため、AIへ全速力で進まなければならないと決めたことだ。それはもともとやろうとしていた計画と同じだった。ただし今度は、別の理由で。

たいていの人間は、そういうものなのだろう? 伝統的合理性では、それを変えるのに足りなかった。

だが、自分の間違いを十分に悟るときは、確かに来た。ただ、もっと強烈に頭を蹴られる必要があったのだ。