❦
2007年のシンギュラリティ・サミットで、ある講演者が、民主的で多国間の人工知能開発を呼びかけた。そこで私はマイクの前に出て、こう尋ねた。
民主的な共和国が何か国か集まってAI開発の共同事業体を作り、その過程で盛んに政治的な駆け引きが行われたとします。一部の利益集団は異様に大きな影響力を持ち、ほかの集団は割を食う。つまり、その結果は現代の民主主義が生み出すものとそっくりになるわけです。一方、反骨精神旺盛なオタクたちが地下室でAIを開発し、世界中の全員の意見を聞き、携帯電話を持たない人には空から投下して配り、多数派の言うとおりにするようAIに指示したとします。この二つのうち、どちらがより「民主的」だと思いますか？ また、どちらか一方でも安心できますか？
私が知りたかったのは、その人が民主的な政治過程の実用上の適切さを信じているのか、それとも投票の道徳的な正しさを信じているのか、ということだった。しかし講演者は、こう答えた。
最初のシナリオは『Reason』誌の社説のようですし、二つ目はハリウッド映画の筋書きのようですね。
戸惑って、私は尋ねた。
では、いったいどんな民主的な過程を考えていたのですか？
講演者は答えた。
ヒトゲノム計画のようなものです。あれは国際的な支援を受けた研究プロジェクトでした。
私は尋ねた。
ヒトゲノム計画のような仕組みの中で、異なる利益集団は対立をどう解決するのでしょうか？
すると講演者は言った。
わかりません。
このやり取りを聞くと、自分の私物同然の国家を民主化するつもりはあるかと尋ねられた、どこかの独裁者の言葉を思い出す。
我々はすでに民主的な体制の中にいると考えている。国民の意思の表明など、まだ欠けている要素はいくつかあるが。
民主主義の中身とは、政策上の対立を解決する具体的な仕組みだ。すべての集団が同じ政策を望むのなら、民主主義は必要ない。私たちは自動的に協力するだろう。解決の手続きは、直接の多数決でも、選挙で選ばれた議会でも、あるいは有権者の意向に応じて動く人工知能でさえもよい。だが、何らかの仕組みでなければならない。対立を解決する仕組みを何も考えていないのに、「民主的な」解決を求めるとは、どういう意味なのか？
それは「民主主義」という言葉を口にしたのだから、聴衆は歓声を上げることになっている、という意味なのだと思う。何らかの命題を述べているというより、スタジオの観客に拍手のタイミングを知らせる「拍手」のランプに等しい。
この一件が特に目立つのは、私が拍手の合図を政策提案と取り違えたため、その後みんなが気まずい思いをしたという点だけだ。たいていの拍手の合図はもっと露骨で、簡単な反転テストで見抜ける。たとえば、誰かがこう言ったとしよう。
AIのリスクと好機との釣り合いを取る必要があります。
この発言を反転させると、こうなる。
AIのリスクと好機との釣り合いを取るべきではありません。
反転した発言は異常に聞こえるので、もとの発言はおそらく当たり前のものであり、つまり新しい情報を伝えていない。単独では情報をもたらさない文を口にすることにも、正当な理由はいくらでもある。「AIのリスクと好機との釣り合いを取る必要があります」は、議題を導入することも、釣り合いを取るための具体案の重要性を強調することも、釣り合いを欠く提案を批判することもできる。当たり前の主張と結びつけることで、合理性に限界のある者に新しい情報を伝えられる場合もある。その結びつき自体は自明ではないかもしれないからだ。しかし、その後に具体的な話が何も続かないのなら、その文はおそらく拍手の合図だ。
いつか拍手の合図だけでできた講演をして、聴衆が笑い始めるまでどのくらいかかるか試してみたい気がする。
本日私が皆さんに提案するのは、高度な人工知能のリスクと好機との釣り合いを取る必要があるということです。リスクを避け、可能なかぎり好機を実現すべきです。まったく不要な危険に、わざわざ直面するべきではありません。これらの目標を達成するには、賢明かつ合理的に計画しなければなりません。恐怖やパニックに駆られて行動したり、技術恐怖症に屈したりすべきではありませんが、盲目的な熱狂に駆られて行動するのもいけません。シンギュラリティに利害を持つすべての関係者の利益を尊重すべきです。高度な技術の恩恵が少数の人に限られるのではなく、できるだけ多くの人々に行き渡るよう努めなければなりません。こうした技術を使った暴力的な対立を、できるかぎり避けるよう努めなければなりません。そして、大規模な破壊能力が個人の手に渡るのを防がなければなりません。これらの問題については、何も手を打てなくなってからではなく、その前によく考えておくべきです……。