モラベックのパラドックスとその含意

Gradient Updates は著者個人の見解を述べるニュースレターで、Epoch AI 全体の見解とは限りません。

20世紀に人工知能という分野が生まれて以来、研究者たちは、人間にとってのタスクの難しさとAIシステムにとってのタスクの難しさには、せいぜい弱い相関しかないことに気づいてきた。たとえば人間には、10桁の数どうしの掛け算を暗算でするのは難しいが、写真に写った猫を1匹ずつ枠で囲むのは簡単である。AIシステムにとっては難しさが逆になる。前者は1950年代にできるようになっていたが、後者で領域分割（セグメンテーション）アルゴリズムが人間の性能に並ぶには2010年代までかかった。

とくに、形式的な推論タスクをこなすAIシステムを作るのは簡単だが、知覚や運動の技能が人間に匹敵するAIシステムを作るのは難しい、という観察はモラベックのパラドックスと呼ばれる。モラベック自身は、このパラドックスに進化論的な説明を与えた。より古くから存在する認知技能ほど、AIシステムで再現するのは難しいと予想される。進化は、古い技能ほどはるかに強い最適化の圧力をかけてきたと考えられるからだ、というものである。

この説明は重要な何かをとらえていると思うが、不十分でもある。たとえば基本的なコミュニケーションの技能はかなり古いが、通信帯域幅だけを比べれば、コンピュータどうしのほうが人間どうしよりはるかにうまく通信できる。本号では、モラベックの説明の背後にある原理について、もう少し肉付けした推測的な見取り図を示し、それを使って、経済の中でどのタスクが他のタスクより早く自動化されると予想できるかを見通す。本号は必然的に、望ましい水準より少ない証拠に基づいているが、それでもこの推測的な見取り図には価値があると思う。

脳はどのように働くのか？

人間では、ほとんどの認知タスクは脳が行っている。したがって、脳にとって何が易しく何が難しいかを推測する前に、脳がどう働くかを抽象的なレベルで理解しておくことが重要である。

脳は、約1,000億個のニューロンと100兆個のシナプスを持つニューラルネットワークであるようだ。シナプスの発火は離散的な事象なので人工ニューロンの結合とまったく同じではないが、各シナプスは発火のたびに、融合積和演算と同程度の計算の複雑さを持つ処理を行っていると考えられる。各シナプスは平均して毎秒1〜100回発火する。つまり脳は毎秒1e14〜1e16 FLOPに相当する演算を行っており、生の処理能力では H100 GPU と同程度である。脳の計算能力についてのより詳しい推定は、この主題についての Joe Carlsmith のレポートを読むことを勧める。

このモデルを真剣に受け止めると、脳の中の情報量は膨大である。100兆パラメータのニューラルネットワークと同程度であり、パラメータあたり8ビットの精度でも100 TBの情報になる。重要なのは、これが人間のゲノムに含まれる情報量よりはるかに多いことだ。ゲノムは全体で約30億塩基対、400 MBにすぎず、そのかなりの部分は、脳はおろか神経系すら持たない植物と共通している。人間の範囲内では、DNAの大部分が人間どうしで同一なので、ゲノムは4 MBまで圧縮できる。これはかなり小さく、英単語100万語をプレーンテキストのファイルに保存したときの大きさ程度である。

要するに、高度に蒸留した形式でさえ、ゲノムには脳の「重み」を具体的に記述するだけの情報はとうていない。容量が限られているので、ゲノムが記述できるのは、脳のアーキテクチャ、学習アルゴリズム、人間に共通する基本的な生物学的本能といった、より高いレベルの特徴だけだろう。これがゲノムの情報ボトルネック論であり、決定的に重要である。進化による最適化を、ニューラルネットワークの学習と類比的に見ることはできないことを意味するからだ。進化は、特定のネットワークの重みについての最適化ではなく、ニューラルネットワークをどう設計し、どう学習させるかについての最適化の過程と見るのが適切である。

ゲノムの情報ボトルネック論の結論を受け入れるなら、脳は、生まれてからの学習で学習されるニューラルネットワークと考えるべきである。脳が行う演算は毎秒1e14〜1e16 FLOP相当にすぎず、人間は30歳までにおよそ10億秒を生きるので、脳に必要な学習計算量は1e23〜1e25 FLOP相当だと導ける。

AIと人間の脳の性能差は何で説明できるか？

Epoch AI では、AIシステム間の性能差は、計算資源、データ、アルゴリズムの3つの要因で決まると考えている。あるシステムが全体的な性能で別のシステムより優れているなら、これらの次元の一部またはすべてで優れているはずだ。

前節で見たように、脳の計算能力についてはよい推定があり、さまざまな領域で脳が外界からどれだけのデータを得ているかについても、それなりによい推定がある。現在のフロンティアAIシステムを脳と比べると、現在のシステムは脳と同等か、それ以上に見える。（学習と推論実行の両方で）より多くの計算資源を使い、さらに重要なことに、人間の脳よりはるかに多くのデータを使っている。もし脳のアルゴリズムの効率が現在のAIシステムと同等だったなら、人間を超えるAIがすでに存在するはずである。

つまり、脳は現在のAIに対して、アルゴリズムの面で決定的な優位を持っているはずだ。ただし、脳は複数のアルゴリズムを実装しており、そのすべてが対応するAIのアルゴリズムより優れているわけではない。中規模のLLMにさえできる多くのタスクが、人間にはまったく手の届かないものである。たとえば多くのLLMは、5万語を10秒で読み、その文章についての複雑な質問にそれなりの正確さで答えられる。

モラベックのパラドックスが意味を持つのは、人間の脳が行うタスクのうち、どれが高度に最適化されたアルゴリズムの積み重ねで実行されているかを理解したいときである。そうしたアルゴリズムは、身体の他の部分（たとえば視覚のための目、聴覚のための耳）にある支援ハードウェアと一体になっている。一般に、そうしたタスクは次の2つの性質を同時に持つ。

進化の時間尺度で古いこと。そうであれば、自然選択が設計を最適化する時間が十分にあった。自然選択は非常にゆっくりしている。たとえば、実験室条件下での細菌の抗生物質耐性のようにきわめて価値の高い形質でさえ、その形質を持つ個体が優勢になるまでに数百世代かかることがある。

この点は、より最適化された設計がありうることを前提にしている。進化が短期間で最適な設計に収束できたのなら、設計をさらに改善する時間が長くあっても役に立たない。一部のタスクで現在のAIシステムの性能がぱっとしないことは、進化による最適化がもっと進めばはるかに優れたシステムになると予想する理由になると私は考えるが、結局のところ決定的な証拠ではない。
そのタスクをうまくこなすことが、進化が重視する指標、たとえば包括適応度にとってきわめて価値が高いこと。そうであれば、そのタスクは存在してきた期間に強い最適化の圧力を受けてきた可能性が高い。

この2つの基準で選び出される技能こそ、モラベックのパラドックスがもともと扱っていた知覚と感覚運動の技能である。基本的なコミュニケーションのような技能は古いが、人間とともに急速な文化進化が始まるまでは、ほとんど最適化の圧力を受けてこなかった。他の個体がコミュニケーションを苦手とする種の中で自分だけ得意でも、選択上の利点はほとんどないからだ。一方、人間をチンパンジーと分かつ汎用的な推論の技能は、強く最適化されるには新しすぎる。

一般に、計算資源が伸び続けていくことを前提にすると、進化による最適化の圧力をあまり受けてこなかったタスクほど、また人間が一生で目にする量よりはるかに多くのデータでAIシステムを学習させられるタスクほど、早く自動化されると予想される。たとえば言語は進化の時間尺度では新しい技能なので、自律型ロボットより先に、流暢な英語を話す賢いチャットボットができたのは驚くことではない。

では、なぜモラベックのパラドックスは直観に反するのか。基本的な理由は、進化の過程で強い最適化の圧力を受けてきたタスクでは人間の能力のばらつきが小さく、私たちはばらつきの小さいタスクを直観的に易しいと判断するからだと思う。たとえば、遺伝のせいで他の人より10倍もエネルギー効率のよい代謝を持つ人がいるとは思わないが、数学の研究の生産性なら、遺伝的な理由で10倍高いことは十分ありうる。私たちはタスクの難しさを、最も優れた人が中央値の人よりどれだけ上手か、あるいは自分が最も優れた人と比べてどうかで判断するので、ばらつきの小さいタスクは「易しく」見える。そのため私たちは素朴に、チェスは言語より難しく、言語は筋肉の制御より難しいと考えるが、真実はまさにその逆である。

これが正しければ、少なくともデータ量と学習計算量のばらつきを制御するために学習期間を固定すれば、中央値の人と最も優れた人の差や他のばらつきの尺度を、進化の歴史の中でそのタスクがどれだけ最適化されてきたかの代理指標として使える。これがいつもうまくいくわけではないが、多くのシグナルの一つと解釈すれば、基本的な洞察にはやはり価値がある。モラベックのパラドックスによれば、同じ学習期間で比べたとき、中央値の人と最も優れた人のタスクの成績の差が大きいほど、そのタスクはAIシステムによって早く自動化されると予想すべきである。

この見取り図によれば、次に自動化されるのはどのタスクか？

以上の議論に基づき、モラベックのパラドックスのような論理から、経済の中で他のタスクより早く部分的または完全に自動化されると考えられるタスクをいくつか挙げる。

AI研究を含む、数学や科学研究の抽象的な推論の部分。これらの技能は進化の時間尺度では新しいようであり、研究が得意であることが直接の自然選択を大きく受けてきたとは考えにくい。また、典型的な研究者と最も優れた研究者の間に大きな差があることは、経験的によく認められている。唯一の障害は質の高いデータが豊富にないことだが、人間にお金を払ってデータを作らせることと合成データを組み合わせれば、おそらく回避できる。
ソフトウェアエンジニアの職務。上の条件をすべて満たすと思うからだ。ソフトウェアエンジニアの数がはるかに多いことや GitHub のような資源があることから、研究職と比べて学習データが豊富にある。このタスクは進化の時間尺度では新しく、適応度の上で直接の利点もない。典型的なソフトウェアエンジニアと最も優れたソフトウェアエンジニアの成績の差も、経営ほどではないにせよ大きい。
感覚運動の技能を直接必要とせず、作り手が人間であることが必須でない芸術の形式。小説の執筆、作曲、新しいデジタルアートの制作などである。これらのタスクは上の条件をすべて満たすと思う。データは豊富にあり、典型的な作り手と最も優れた作り手の間には大きな差がある。タスクの古さはせいぜい言語と同じ程度で、遺伝的な適応度にとってとくに重要とも思えない。
上級管理職の職務のかなりの部分、とくにリモートで行える部分。大規模な組織の経営は非常に新しい技能で、人間はとくにこれが苦手だと思う。また、上級経営陣が会社を効果的に率いる能力には非常に大きなばらつきがある。ただし、職務そのものは引き続き人間が担うべきだとする説得力のある社会的・法的な理由があり、ここではデータのボトルネックもとくに深刻になりそうだ。したがって私がここで予想するのは、管理職の職務が自動化されてAIシステムが直接その座に就くことではなく、AIが主要なボトルネックを解消して経営の生産性を大きく高めることである。

一般に、近い将来に自動化されるのは、人間の進化がどれだけ最適化してきたかという点では言語と似ているが、劣ったアルゴリズムを補えるだけの質の高い学習データがないためにまだ自動化されていないタスクだろうと私は予想している。よりよいデータセットを作ること、合成データをもっと生成すること、アルゴリズムを改善することを組み合わせれば、残りの差はおそらく埋められる。

対照的に、知覚や感覚運動の技能を高度に要求する仕事は、自動化が難しいと予想する。これは「対面で行う仕事」と同じではない。たとえば教師や薬剤師は一般に対面で働くが、その仕事に複雑な知覚や感覚運動の技能は必要ない。一方、自動車整備士、配管工、外科医にはより高い器用さが必要なので、これらの仕事は、少なくとも上に挙げたタスクが自動化されるまでは自動化に抵抗すると予想する。

結びに

以上のような生物学との比較は、AIの進歩の速さがタスクによってどう異なるかを考えるうえでかなり役に立つと思う。そこから引き出せる洞察はおそらくまだある。たとえば、脳が1e14パラメータのニューラルネットワークでありながら1e23〜1e25 FLOPで学習されているということは、脳が非常にスパースなニューラルネットワークであることを示唆している。脳のアルゴリズム面での優位の多くは、合成データと、スパース性などの技法による計算資源の予算の効率的な振り分けを組み合わせて、限られたデータと計算資源で大きなモデルを学習できることから来ている、というのはありそうな話である。

私が反論したい見方の一つは、人間にとってのタスクの難しさとAIにとっての難しさは無関係だというものだ。脳の動作原理は、ハードウェアとソフトウェアの両面で大きな違いはあるものの、根本的には人工ニューラルネットワークと似ていると私は考える。タスクの難しさについて素朴に予想される相関が見えにくくなっているのは、自然選択のペースが遅く、その優先順位が独特だからである。

結局のところ、AIシステムを人間の脳と比べることに基づく予測はいつも不完全だが、分野の最近の進歩のトレンドを外挿するといった他の方法と組み合わせれば、予測者にとって有用なシグナルになりうる。とくに、現在のAIがまったく実行できないタスクについては、脳との比較はかなり役に立つと思う。そうしたタスクについては、脳との比較が手元にある唯一の情報源になりうるからだ。