非公式日本語訳 — 原著者・発行元による公式の翻訳ではありません

Eliezer Yudkowsky — 非公式日本語訳

私の最良にして最悪の間違い

My Best and Worst Mistake

❦

前章では、若いエリエザーが「知能」と呼ぶものをめぐって陥った、感情の死の螺旋について述べた。エリエザー1996は、さらに言えばエリエザー1999でさえ、それに数学的な定義を与えようとはしなかっただろう。意識的に、わざと拒んだはずだ。実際、「知能」にどんな定義を与えることにも、気が進まなかっただろう。

なぜか。AIには、お決まりのすり替えがあるからだ。「知能」を「論理的推論」や「結論が適切でなくなったときに撤回する能力」のように定義する。そして、安直な定理証明器や、その場しのぎの非単調推論器を作って、「見よ、知能を実装した!」と言う。知能の中核ではなく相関するものに目を向け、出来の悪い定義を作り、その書き下した表面的な定義を追いかけるうちに、肝心の、本物の知能を忘れてしまうのだ。エリエザー1996は、人工知能研究で経歴を築こうとしていたわけではない。ただ、本当にナノテクノロジーを作れる心がほしかった。だから、論文を立派に見せるために知能を定義し直す誘惑はなかった。

振り返ると、自分の間違いのかなり多くは、他人の愚かさを見たせいで逆方向へ行きすぎたものとして説明できそうだ。「知能」を定義する試みが何度も悪用されるのを見て、私は一切定義するのを拒んだ。知能はXだと言って、本当はXではなかったらどうするのか。何を探しているかは直観的にわかっていた。恒星を分解して原材料にできるほど強力なものだ。定義のせいでそこから気をそらされる罠にはまりたくなかった。

同様に、物理学への羨望で潰れたAIプロジェクトを、私は数多く見ていた。単純で優美な数学にこだわり、そのためにおもちゃのようなシステムから抜け出せないのだ。そこで私は、整った数式で形式化できるほど単純な数学では、本物の知能にはおそらく通用しない、と一般化した。「ベイズの定理は別だが」とエリエザー2000は付け加えた。見方によっては、これは彼の全面的な過ちを少し軽くするし、あるいは、一つだけ例外を足すのではなく、一般化全体を疑うべきだったことを示す。

なぜエリエザー2000がそんなことを考えたのか、知能の数学を信じなかったのか、不思議に思うかもしれない。正直、そこまで昔を思い出すのは難しい。数学が嫌いだったことは、決してない。根本原因を挙げるなら、人工知能の本を読む数が少なすぎ、一般向けに偏りすぎ、しかも読む本を間違えたことだろう。

だが当時は、答えが人工知能研究から出てくるとは思っていなかった。病んで死んだ分野だとして、ほとんど見切りをつけていたのだ。だから、調べる時間が少なすぎたのも不思議ではない。人工知能は約束しすぎる、という決まり文句を信じていた。これも「逆方向へ行きすぎる」型に当てはまる。約束を果たしていない分野だから、見捨てる気になっていた。その結果、偽物ではない数学を見つけるほど熱心には調べなかった。

汎用知能に数学があることを若いころ信じなかったのは、私の人生で最悪の間違いの一つであり、同時に最良の間違いの一つでもあった。

知能には単純な答えなどありえないと信じていたからこそ、私は認知心理学、機能神経解剖学、計算神経解剖学、進化心理学、進化生物学、そして人工知能の複数の分野を勉強した。単純な名案を思いついたように感じても、そこで止まったり、実装しようと飛び出したりしなかった。たとえ正しくても、必要なものであっても、それだけでは足りないとわかっていたからだ。知能は単純なはずがなく、Tシャツに収まるような答えを持つはずもなかった。多数のピースから成る大きなパズルのはずであり、一つ見つけたからといって勝ち誇って掲げ、走り去るのではなく、探し続けるべきだった。一つでもピースの欠けた心を作ろうとしたら、面白いことは何も起きないかもしれない。

学問分野としての人工知能を、荒れ果てた不毛の地だと思ったのは間違いだった。知能の数学などありえないと思ったのは、さらに大きな間違いだった。しかし、たとえば機能神経解剖学を学んだことは後悔していない。今では、人工知能は人間の脳とは似ても似つかないものになるべきだと思っているとしても、だ。神経解剖学を学んだことで、心を部品に分けたら「視覚野」や「小脳」のようなものになる、という見方から出発できた。「株式市場取引モジュール」や「常識推論モジュール」のようなものに分ける、AIでよくある誤った道を避けられた。

機能神経解剖学や認知心理学といった分野を学んだことで、心はどのような姿であるはずかについて、AIの本だけを読んでいた場合とは――よいAIの本であっても――まるで違う考えを持てた。

間違った結論や正当化を全部取り除き、その信念によって若いエリエザーは実際に何をしたのか、とだけ問うなら……。

人工知能研究は病んでいて、本当の答えは外の健全な分野から来るはずだという信念によって、彼は認知に関わる科学を数多く学んだ。

AIには単純な答えなどないという信念によって、一つの名案で早々に止まることなく、多くの情報を蓄えた。

知能を定義しようとするべきではないという信念によって、長いあいだ問題を研究し、何年も後になって初めて、体系化を提案し始めた。

これが、人生で最良の間違いの一つだと言うときに、私が指していることだ。

何年も後になって振り返り、私は次のような強い教訓を得た。

結局、実際に何をしたかがわかれば、そうした巧妙な理由は、結果を予測するうえではもう関係ない。

さまざまな科学を学ぶよう導く、驚くほど巧妙な推論と、そんな本を読む必要はないと言う、驚くほど巧妙な推論を比べてみよう。あとになって、その驚くほど巧妙な推論が愚かだったとわかったとき、前者の推論をしていたほうが、はるかによい位置にいるはずだ。

過去を振り返ると、半ば偶然の成功、間違った理由から正しいことをした回数の多さに驚かされる。読者の立場からは、人間原理のせいだとしておくべきだろう。本当の行き止まりにはまっていたら、おそらく、この本で私の話を聞くことはなかったからだ。自分の立場からすると、今でも少し恥ずかしい。伝統的合理主義のもとで育ったことが、この「偶然の成功」に大きな方向づけを与えていた。勉強しない理由より勉強する理由をこじつけるほうへ傾け、完全に迷子になるのを防ぎ、間違いから立ち直る助けになった。それでも、そのどれも、正しい理由で正しい行動をしたのではない。若いころの自分を振り返ってそれを目にするのは、恐ろしいことだ。Overcoming Biasで書く主な目的の一つは、偶然たどり着いた場所までの道筋を残すことだ。私自身が合理主義者になる過程で運が果たした役割を、ほかの人には不要にするために。

では、なぜこれが人生で最悪の間違いの一つでもあるのか。「非形式的」とは、ときとして「低い基準しか課されていない」の別名だからだ。「知能」や、ほかのいくつかの用語を厳密に定義しなくてよい、驚くほど巧妙な理由があった。つまり、定義しようとして他人は道を誤ったから、というわけだ。これは、雑な推論が入り込める門になっていた。

では、先を急いで、すぐ正確な定義を作ろうとするべきだったのか? いや。それが間違った行為だとわかっていた理由は、すべて正しかった。知識が十分でなければ、正しい定義を無から取り出すことはできない。

原子や分子を知らなければ、火の正しい定義にはたどり着けない。「あのオレンジ色に光るもの」と言うほうがよい。そして火を調べるには、正体を正確に言えなくても、そのオレンジ色に光るものについて話せなければならない。しかし今の私なら、その水準での推論はすべて信頼できないと言うだろう。理解を深める途中で行うものではあるが、信頼してはいけない。その上に体重を預けてはいけない。どれほど逃れようのない非形式的推論に思えても、確固たる結論を引き出してはいけない。

若いエリエザーは、間違った床のタイルに体重を預けた。仕掛けられた罠の上に踏み込んだのだ。