Yudkowsky Sequences 日本語訳
非公式日本語訳 — 原著者・発行元による公式の翻訳ではありません

Eliezer Yudkowsky — 非公式日本語訳

カルト的反カルト主義

Cultish Countercultishness

現代世界でカルトに入ることは、おそらく身に起こりうる最悪に近い出来事の一つである。最善の筋書きは、誠実だが妄想に陥った人々の集団に行き着き、ほかの点では行儀よく、正直な間違いを犯しているだけで、大量の時間と金を使った末、何も得られない、というものだ。実のところ、それなら失敗したシリコンバレーのスタートアップを何でも説明できる。考えてみれば、それも地獄のようにつらい経験だという。だから、そう、非常に恐ろしい。

本物のカルトは、それよりはるかにひどい。個人的危機のさなかにいる人を狙う、勧誘技法としての「ラブ・ボミング」。睡眠剝奪。重労働によって誘発される疲労。新参者を友人や家族から隔離する遠隔地の共同体。不純な考えを告白する毎日の集会。カルトが新参者の金をすべて――生涯の貯蓄と毎週の給料――取り上げ、食べ物と衣服をカルトに依存せざるをえなくすることも珍しくない。不服従への罰としての飢餓。本格的な洗脳と深刻な危害。

そのすべてを考慮すれば、一見奇妙な企てに乗り出すときに、自分はカルトへ入ろうとしているのかもしれないとひどく不安になる人々へ、私はもっと同情するべきなのだろう。それが神経に障るべきではない。だが実際には障る。

第一の論点。「カルト」と「非カルト」は、犬と猫のように分離した自然種ではない。どんなカルトの特徴一覧を見ても、政党や企業を簡単に説明できる項目が見つかる――「外部からの批判には隠れた動機があるとして、信用しないよう集団成員に促す」「階層的で権威主義的な構造」。私は、集団極性化幸福な死の螺旋無批判性蒸発冷却など、互いを糧にしているように見える集団の失敗様式について書いてきた。こうした失敗が渦を巻いて出会うと、Voltronのように結合し、どの部分よりも愚かな「超失敗」を形成する。しかし、これはカルトの本質ではない。カルトのアトラクターである。

犬は犬のDNAを持って生まれ、猫は猫のDNAを持って生まれる。現在の世界に、その中間は存在しない。(遺伝子操作を使ってさえ、犬の遺伝子半分と猫の遺伝子半分を持つ生物を作るほど単純ではない。)互いに強化し合う犬の特徴の集合があり、一匹の猫がそこへ半分入り込んで半犬になれる、というようなものではない。

カテゴリーについて考えるとき、人間の心はアトラクターより本質を好むようだ。人は「これはカルトだ」または「これはカルトではない」と言い、そこで分類の仕事を終わらせたい。Socratesに十本の指があり、服を着て、流暢なギリシャ語を話すと観察したなら、「Socratesは人間だ」と言い、そこから、死亡可能性を確かめる特別な血液検査をしなくても「Socratesにはドクニンジンが効く」と演繹できる。Socratesが人間であることを、一度で最終的に決定したのだ。

だが、ある人間集団が内集団・外集団の極性化を示すように見え、「史上最もお気に入りのもの」の周囲に肯定的なハロー効果が見られると観察しても――そのものはオブジェクティビズム、菜食主義、あるいはニューラルネットワークかもしれない――ここまでに集められた証拠から、その集団が無批判性に達したかどうかを演繹することはできない。中心的思想が真か、偽か、本当に有用だが彼らが考えるほど有用ではないのかも演繹できない。ここまでに集められた情報から、それ以外の点では礼儀正しいのか、それともあなたを孤立へ誘い込み、睡眠と食べ物を奪うのかも演繹できない。カルト性の特徴は、すべて存在するか、すべて不在かではない。

オンライン上で「Xはカルトだ」「Xはカルトではない」という論争を見れば、一方はオンラインのカルト特徴一覧を調べ、当てはまる特徴を一つ見つけて「したがってカルトだ!」と言う。擁護する側は、当てはまらない特徴を見つけて「したがってカルトではない!」と言う。

この種の本質主義を使って、集団の推論力学を正確に描くことはできない。個々の特徴へ個別に注意を払わなければならない。

さらに、愚かさを逆転させても知性にはならない。実行する集団だけでなく、中心となる思想に関心があるなら、賢い思想にも愚かな支持者はつきうる。多くのニューエイジャーが「量子物理学」について語るが、それは量子物理学への一撃にはならない。もちろん、愚かな思想にも愚かな支持者はつきうる。二値的本質主義には、ある集団が「カルト」だと推論したなら、その信念は偽でなければならない、という考えも伴う。猫に毛があるのと同じく、偽の信念がカルトの特徴だからである。思想に関心があるなら、人々ではなく思想を見よ。カルト性は集団について言える特徴であり、仮説について言える特徴ではない。

第二の誤りは、人々が「これはカルトじゃないですよね?」と不安げに尋ねるとき、私には自分の合理性についての安心を求めているように聞こえることだ。合理主義者が、合理主義者としての自己像に執着しすぎないという考えは、一つのエッセイを割くに値する(ただし、「合理性の十二の美徳」「なぜ真理か? そして……」「二つのカルト公案」も参照)。だが詳しく立ち入らずとも、不安げに安心を求めることが、合理性の問いを評価するのに最良の心構えではないと、きっと理解できるだろう。真の好奇心を持つことも、疑いを満たす方法を考えることもない。その代わり、カルトは人を支配するため睡眠剝奪を使う、と述べるオンライン情報源を見つけ、「自分のお気に入り集団」は睡眠剝奪を使わないと気づき、「カルトではない。ふう!」と結論づける。毛がないなら、猫ではないはずだ。実に安心できる。

しかし、大義それ自体が賢明であろうと愚かであろうと、あらゆる大義はカルトになりたがる。内集団・外集団の二分などは、人間性の一部であり、特別な呪いを受けた変異体だけのものではない。合理性は例外であって、規則ではない。エントロピーへ自然に滑り落ちることに抗し、合理性を維持するには、絶えず努力しなければならない。「カルトではない!」と決めて安堵のため息をつけば、カルト性へ向かう普通の傾向を押し戻す努力を続けないだろう。カルトの本質は不在だと決め、カルト・アトラクターのエントロピーに抗する排出をやめてしまう。

カルト性をひどく不安に思うなら、カルトに似た特徴のわずかな兆しも否定したくなるだろう。だが、肯定的に見られる目標を持つあらゆる集団は、ハロー効果の危険にさらされ、感情的死の螺旋を避けるためエントロピーに抗して排出しなければならない。これは政党のような普通の制度にも当てはまる――「リベラルの価値観」や「保守の価値観」が癌を治せる、と考える人々などである。失敗したものにも成功したものにも、シリコンバレーのスタートアップに当てはまる。MacユーザーにもLinuxユーザーにも当てはまる。誰もがやっているというだけで、ハロー効果が許されるわけではない。全員が崖から歩み出ても、あなたまでそうはしないだろう。推論の誤りとは戦うべきで、容認すべきではない。だが、「これは本当にカルトじゃないのか?」を心配しすぎれば、カルト性のどんな徴候も見ようとしなくなる。それは自分がカルトにいるという含意を持ち、しかもカルトじゃないんだから!! そこで、カルト性へ向かう普通の傾向が前進している、あるいは押し戻されている現在の戦場が見えなくなる。

「これはカルトじゃないですよね?」と不安げに尋ねる第三の誤りは、その不安がまったく間違った理由で存在するのではないかと、私は強く疑うことである。

自分たちの「幸福な何か」を天まで称賛し、全財産を寄付して自発的隷属のもとで働くよう成員を促し、成員を厳重に隔離する私有地を運営する集団が、数百年続いた途端に「カルト」でなく「宗教」と呼ばれるのは、なぜなのか?

人体冷凍保存について「これはカルトじゃないですよね?」と不安げに尋ねる人々の大半が、共和党または民主党の政治集会に出席することを、同じようには不安に思わないのはなぜか? 内集団・外集団の二分と幸福な死の螺旋は、政治的議論でも、主流宗教でも、スポーツファンダムでも起こりうる。その不安合理性の誤りへの恐れから来るなら、人々は民主党や共和党の政治集会について、「これは内集団・外集団の二分ではないですよね?」と、まったく同じ恐ろしげな口調で尋ねるはずである。

自由至上主義者には睡眠剝奪を使って人を改宗させるという評判がないので、空飛ぶ円盤カルトより自由至上主義を恐れずに済む正当な理由はある。だが人体冷凍保存を選ぶ人々にも、睡眠剝奪を使うという評判はない。ならば、なぜ呼吸を止めた後に頭を冷凍してもらうことを、いっそう心配するのか?

その不安は、偽の信念を持つ恐れでも、身体的危害への恐れでもないのだと思う。それは孤独な異論への恐れである。Aschの同調実験で、ほかの被験者(実は協力者)が一人ずつ順番に、線Cは線Xと同じ長さだと言う一方、被験者には線Bが線Xと同じ長さに見えるとき、被験者が抱く不安な感情だ。群れを離れる恐怖である。

そのため、信念が十分長く存在し、「普通」に見える集団は、主流宗教のなかにも全財産を取り上げて修道院へ送るものがあるにもかかわらず、「カルト」と同じ不安を引き起こさない。そのため、合理性の誤りに陥る可能性が非常に高い政党のような集団も、「カルト」と同じ不安を引き起こさない。「カルト」という語は、合理性の誤りを象徴するため使われているのではなく、奇妙に見える何かのラベルとして使われている。

すべての変化が改善なのではないが、すべての改善は必然的に変化である。もっと上手にやりたいことは、違うようにやるしかない。常識には、まあ、実際の英知も相当量含まれている。そう、奇妙なものに追加の立証責任を求めるのは理にかなっている。だが、その不安は、その種の意図的で合理的な検討ではない。友人から本当に奇妙な目で見られるような何かを信じる恐れである。そこで人々は、政治集会へ出席することや、巨大なクリスマス飾りを設置することには決して使わない口調で、「これはカルトじゃないですよね?」と尋ねる。

それこそ、私をいら立たせる部分である。

祖先が信じなかった何かを信じた途端、「カルトの妖精」が空から舞い降り、あなたに「カルト性の本質」を注入し、気づけば皆で法衣を着て詠唱しているかのようだ。睡眠剝奪や殴打はさておき、「奇妙な」信念が問題の直接の原因であるかのようだ。カルトが引き起こした害――ヘヴンズ・ゲートの集団自殺など――は、変わった信念を持つ者は全員狂っていることを示すだけであり、「カルト信者」の第一にして最大の特徴は、「風変わりなやり方をする部外者」だというわけである。

そう、社会的に普通でない信念は、内集団・外集団思考、蒸発冷却、そのほかの問題に集団をさらす。だが普通でないことは危険因子であって、それ自体が病気なのではない。成し遂げる価値があると思う目標を持つ場合も同じである。信念が真かどうかにかかわらず、好ましい目標を持てば、常に幸福な死の螺旋の危険にさらされる。だがそれによって、高邁な目標は危険因子になるのであって、病気になるのではない。本当に追求する価値のある目標もある。

一方、睡眠剝奪や、異論を唱える者を殴ると脅すことに、正当な理由は一切ない。以上。ある集団がこれをするなら、それを「カルト」と呼ぼうが「非カルト」と呼ぼうが、加入すべきかという実践的な問いには直接答えが出ている。

第四の問題。孤独な異論への恐れは、カルトそれ自体が利用するものである。友人が非難の目で見ることへの恐怖は、本物のカルトが人を改宗させ、成員として引き留めるため使う、まさにその効果である――改宗者の周囲を、カルト信者たちの一面の同意で取り囲むのだ。

奇妙な思想への恐れ、同調への衝動は、多くの潜在的被害者へ警告し、空飛ぶ円盤カルトから遠ざけてきたに違いない。外にいるときには、外に留めてくれる。だが中にいるときには、中に留めてしまう。同調は、良い場所でも悪い場所でも、今いる場所にあなたを接着するだけである。

人は、自分が「カルト」に入っていないと確信できる方法があればよいと願う。怪訝な目で見る人々への、明確で圧倒的な反論。絶え間ない疑いを抱かず、自分が正しいことをしていると一度できっぱり知る方法。それは「認知的完結欲求」と呼ばれるものだと思う。そして――もちろん――カルトはそれも利用する。

ゆえに、「カルト的反カルト主義」という表現になる。

疑いを抱えて生きることは美徳ではない――あらゆる疑いの目的は、自らを消滅させることであり、成功か失敗によって消滅する。いつまでも居座る疑いは、何も成し遂げない。だが疑いが自らを消滅させるのに、時間がかかることもある。現在未解決の疑いを山ほど抱えて生きるのは、合理主義者にとって避けられない人生の事実である。疑いを恐れるべきではない。さもなければ、とてつもなく追い立てられた人生か、とてつもなく愚かな人生のどちらかを選ばなければならなくなる。

ある集団が「カルト」かどうかを本当に、心から判断できないなら、不確実な条件のもとで選ぶしかない。意思決定理論は、まさにそれを扱う。

第五の問題。戦略的思考の欠如。

私は、シンギュラリタリアニズムを警戒し、政党や主流宗教を同じく警戒する人々を知っている。不安や防御ではなく、警戒である。こうした人々は、シンギュラリタリアニズムが、睡眠剝奪などを行う本格的なカルトでは明らかにないと、一目でわかる。だが、強力なAIという概念を「超・幸福な主体」(それについて述べられる好ましいことには何でも同意することによって主に定義される主体)へ変える、といった危険因子のため、シンギュラリタリアニズムがカルトになることを心配している。今カルトでないからといって、将来カルトにならないとは限らない。カルト性は本質ではなく、アトラクターである。

この種の警戒は、私をいら立たせるか? とんでもない。私自身もその筋書きを心配することに、多くの時間を使っている。その方向への動きを遮るため、囲碁の石を事前に置こうとしている。たとえば、カルト的な推論の失敗についての一連のエッセイを書いたのは、そのためである。

「合理性」について語る人々には、追加の危険因子もある。どう考えるべきかを人に助言することは、本質的に危険な仕事である。しかし、それは危険因子であって、病気ではない。

私が特に好む二つの「大義」は、どちらもカルト化の危険がある。それでもなぜか、確率論と認知科学について話すときより、強力なAIについて話すときのほうが、「これは本当にカルトじゃないのか?」とずっと頻繁に尋ねられる。一方の危険因子が他方より大きいかは知らないが、どちらがより奇妙に聞こえるかは知っている……。

「これはカルトじゃないですよね?」と尋ねることの第六の問題は……。

その質問自体が、私を非常にいら立たしい種類の板挟みに置く。本物の「邪悪な導師」なら、きっとその人の不安を逆手に取り、「これがカルトでない理由」を説明する、もっともらしく手の込んだ論拠を設計し、その人は喜んで受け入れるだろう。人々が私にそうすることを望んでいるのではないか、と感じることもある! カルト性とその回避法について書こうとするたび、私はその欠陥ある欲求へ屈しているように感じ続ける――結局のところ、人々に安心を与えているように。エントロピーとの絶え間ない戦いが必要だと人々に伝えているときでさえ。

Aschの同調実験で自分が最初の反対者となり、人々に「そう、線Xは本当に線Bと同じ長さだ。あなたもそう言ってよい」と告げているように感じられる。彼らは尋ねる必要などないはずだ! あるいは、さらに悪いことに、私は「これがカルトでない理由」について手の込んだ論拠を示しているように感じる。それは間違った問いなのだ。

奇妙さへの恐れを取り除いたなら、自分で集団の推論過程を観察し、自分が加わりたいものか自分で判断すればよい。今たまたまどの集団で活動していようと、カルト的に考えないよう自分を止めるのは、自分自身の責任である。

誰かが「これはカルトじゃないですよね?」と尋ねた途端、どう答えても、私はいつも何かを擁護しているように感じる。この感覚は好きではない。安心を与えることはベイズの師の役割ではないし、擁護することは合理主義者の役割でもない。

カルトは、集団思考、不安、安心への欲求を餌にする。願うだけで不安を消すことはできず、誤った自信はさらに悪い。だが、誰かが安心を必要とする限り――合理主義者であることについての安心でさえ――それは常に、その人の鎧にある弱点となる。熟練した剣士は、誰かに笑われていないかと目をそらさず、標的に集中する。自分が何を、なぜしようとしているかわかれば、達成できているかどうか、集団が助けているか妨げているかがわかるだろう。

(追伸:ある人があなたのもとへ来て、「これはカルトでは絶対にないんですよね?」と言っても、これらの概念を一息ですべて説明しようとしてはならない。あなたは推論距離を過小評価している。その人は「ああ、では自分たちがカルトだと認めるんだな!」とか、「待ってくれ、カルトに入ることを心配すべきではないと言っているのか?」とか、「それでは……カルトへの恐れがカルト的なのか? それはひどくカルト的に聞こえる」と言うだろう。だから最後のいら立たしい要因――数えているなら第七――は、このすべてを説明するのに、これほど長い話が必要なことである。)