10分のタスクをこなすAGIはどこにあるのか？

最近、METRが論文を発表し、AIがこなせるタスクの長さは7か月ごとに倍増していると論じた。

次のグラフにそれが表れている。最も優れたAIシステム¹は、およそ1時間かかるタスクを平均50%の成功率でこなせる。

だが、ここには大きな問題がある。AIが実際に、1時間のタイムホライズンでほとんどのタスクをこなせるのなら、なぜ現実世界のタスクの自動化がもっと進んでいないのだろうか。たとえば、たいていのメールは書くのに1時間もかからない。それなのに、メールを書くことは今も毎日、何十億もの人々の生活の重要な一部であり続けている。

その一部は、人々がAIシステムを十分に使っていないせいかもしれない。² だがこの記事では、AIシステムの能力に関わる、より根本的な理由を取り上げたい。具体的には、そうした理由のうち最も重要なのは次の三つだと私は考えている。

1. タイムホライズンの推定値は、分野にきわめて大きく依存する
2. タスクの信頼性は、タイムホライズンに強く影響する
3. タスクは互いに強く結びついていて、切り離すのが難しい

それぞれの理由がどれほど重要かを定量的に示すのは難しいが、どれも、1時間や10分のタイムホライズンのタスクでさえ多くが自動化されないままである理由を説明できるほど強力である。

Epoch AI の最新情報を受け取る 購読する

1. タイムホライズンの推定値は、分野にきわめて大きく依存する

おそらく最も重要な理由は、こうしたタイムホライズンの推定値が分野にきわめて大きく依存しており、それがより広いタスクの自動化にどこまで一般化できるのかがまったくはっきりしないことである。

具体的には、タイムホライズンの推定値は三つのタスク群（HCAST、RE-Bench、SWAA Suite）に基づいており、どれもソフトウェアとの関わりが強い。しかし、とくにほかの分野に目を向ければ、タイムホライズンがはるかに短い（あるいは長い）例を見つけるのは難しくない。

たとえばTamay Besirogluは、対象のタスク分野にチェスを選んでいたら、同様の分析によって、1990年代初めのAIシステムは数時間から数日のタイムホライズンで動けると予測されていただろうと指摘している。³

そして、自動化の影響を正確に予測するうえで、この分野への依存がどれほど決定的かを過小評価すべきではない。たとえば、リモートワークのタスクは、ある尺度では米国経済のタスクのおよそ35%を占めることがわかっており、とくにソフトウェアに関わるものに限ればその割合はさらに小さい。このことだけでも、タイムホライズンの推定値が経済の大半のタスクを代表していないかもしれないことを意味する。

同様の問題は、ソフトウェア関連のタスクの内部にさえ残る。たとえばOSWorldベンチマークは単純なコンピュータ操作のタスクで構成されているが、人間が中央値約112秒で約73%のスコアを出すのに対し、現在の最高水準のシステムのスコアは40%を少し超える程度である。⁴ 逆方向の例もある。AIシステムは今や、たいていの人間なら読むのに何日もかかる長い文章から、すばやく情報を取り出せる。⁵

要するに、タスクによって、推定されるタイムホライズンは何桁も変わりうるのだ！ したがって、タイムホライズンが1時間よりかなり短いのにまだ自動化されていない現実世界のタスクがあっても、それほど驚くには当たらない。

2. タスクの信頼性は、タイムホライズンに強く影響する

もう一つの問題は信頼性である。METRのグラフの但し書きを読むと、今日の最も優れたAIシステムは、（ソフトウェア関連の）1時間程度のタスクを平均50%の成功率でこなせる、ということになる。では、成功率の基準を変えるとどうなるだろうか。

それを確かめるには、この論文の方法論をもっと詳しく見る必要がある。著者らは各AIモデルについて、あるタスクでのモデルの成功率と、人間がそのタスクを終えるのにかかる時間とを結びつけるシグモイド型の関係を当てはめる。そのうえで特定の成功率（つまり50%）を選び、現在の最先端モデルについて、それに対応する約1時間というタイムホライズンを得ている。

著者らは80%の信頼性も検討し、その場合はタイムホライズンが1時間から約15分に下がることを見いだしている。だが、おそらくさらに先まで考えたほうがよい。現実世界のタスクではしばしば95%以上の成功率が求められ、そうなるとタイムホライズンはさらに短くなる（典型的な例は自動運転車だが、全体として、一般に「適切な」正確さがどれくらいであるべきかは私にははっきりしないので、この議論の説得力はいくらか弱まる）。たとえば、シグモイド型のモデルを素朴に外挿すると、99%の成功率は1分未満のタイムホライズンに相当する。⁶

とはいえ著者らは、そうした極端な成功率でのタイムホライズンの推定は、その正確さの水準で質の高いデータが足りないため、信頼できないと注記している。さらに、AIシステムの成功率だけを見るのではなく、人間の成功率とも比べなければならない、という反論もありうる！ これには確かに一理ある。論文の付録B.1.1によれば、人間の成功確率も、長いタスクではかなり下がる。たとえば、比較基準となった人間の参加者のあいだでは、4秒のタスクの成功率は約100%だが、1時間のタスクでは約50%である。

しかし同じ付録には、こうした反論を退ける重要な理由も挙げられている。最も重要なのは、人間の失敗のかなりの部分が、専門知識の不足や、中断や退屈によってタスクを放棄したことなど、AIモデルには当てはまらない理由によるものだったらしいことである。これは一つには、比較基準となった人間の参加者への報酬の払い方のせいだったとみられる。その払い方では、期待収入がより高いタスクに移るために、すばやく当て推量で答えたり、早めに諦めたりする誘因が働いていた。

すべてを考え合わせると、ここでの私の議論が成り立つだけの十分に強い証拠があると思う。つまり、タスクの信頼性は対応するタイムホライズンに強く影響し、その影響は1時間のタイムホライズンを10分の1未満に縮めるほど大きい。

3. 現実世界のタスクは互いに結びついていて、切り離すのが難しい

METRの論文で検討されたタスクは、タスクの種類に偏っているだけでなく、答えが決まっていて、追加の文脈を必要としないものが多い。だがそれは、ソフトウェアの範囲に限ったとしても、現実世界のタスクの性質とは大きく異なる。⁷

Ajeya Cotraは、AI研究者へのインタビューに基づいて、この問題を実に簡潔に言い表している。

これがタスクの自動化にとってなぜそれほど重要なのかを見るために、メールの例に戻ろう。なぜメールはまだ完全に自動化されていないのか。現在のLLMは、もっともらしいメールを書く能力を十分にもっているように見えるし、最も筆の速い人間よりもはるかに速く書ける。

では、何が問題なのか。メールを書くことに何がともなうのかを具体的に考えると、答えはずっとはっきりする。そこで説明のために、私がこの1年に受け取ったメールの一部と、それらのメールへの対応が自動化されなかったと私が考える理由を挙げてみよう。

受け取ったメールの種類	自動化のボトルネック
仕事の誘いについてのメール＋それについての打ち合わせ	私がその仕事に関心があるかどうかを、AIは知らない 私の予定がどうなっているかを、AIは知らない
あるプロジェクトについての以前の会話のフォローアップ	私たちが何を話したか（たとえばプロジェクトの詳細）を、AIは知らない
成果物へのフィードバックの依頼	AIは、その成果物の特定のテーマについての専門知識をもっていない
Epochのような仕事に関心のある人への助言	人間にとってEpochのような研究に取り組むのがどういうことかについて、AIがもつ文脈は限られている Epochの内部がどう動いているかを、AIは知らない

これらの例に共通するパターンは、（1）AIが何らかのデータや文脈を欠いていること、（2）私の好みについての文脈を欠いていること、であるように思える。そのうえ、AIシステムは、たとえ必要なデータや文脈をもっていても、タスクをうまく実行できないかもしれない。ただ、この追加の複雑さを考えなくても、議論は成り立つと思う。

だが、本当にメールを完全に自動化したいとしたら、何が必要になるだろうか。簡単に解決できることもある（AIシステムに私の予定へのアクセスを許可する、など）が、ほかのことはずっと複雑で、厄介な問題を次々と引き起こす。対面での会話を日常的に記録するために多くのインフラを整える必要があるかもしれず、同時に、セキュリティやプライバシーの数多くの潜在的な問題や、社会規範の変化（たとえば、人々の日常生活の多くが記録されることをめぐって）にも対処しなければならない。AIはまた、利用者のコミュニケーションの流儀の好みや、どんな機会に関心があるかなどについて、十分な文脈をもつ必要もある。

これは孤立した例ではない。こうした文脈への依存は、経済のいたるところにある。歴史的に、タスクの自動化に業務の流れの大幅な再編が必要だった重要な理由の一つはこれである。

考察

私の考えでは、ここまで述べたことはすべて、AIのベンチマークをめぐるより大きな問題の一部にすぎない。つまり、AIのベンチマークはなぜ現実世界のタスクの自動化を反映しないのか、という問題である。私は以前、これまでなぜそうだったのかについて書いたが、今回は、現在と将来にも当てはまる三つの根本的な理由を論じた。

こうした理由から、METRの論文を「人間が1時間でできるタスクのほとんどをAIはこなせる」と言っているものとして解釈すべきではないと私は考える。METRの研究者たちもこの主張を信じてはいないだろうが、残念ながらTwitterではそのように解釈している人を見かけた。とはいえ、ソフトウェア関連のベンチマークでふつう扱われる種類のタスクについて、METRが指数関数的な向上の証拠を見つけたことは確かだと思う。先にほのめかしたように、重視すべきは7か月という倍増期間のほうであり、AIが現在こなせるタスクのタイムホライズンではない。

将来のAIの能力の予測について語るときには、上で述べたベンチマークの限界と、現実世界のタスクでのAIの現在のタイムホライズンを理解しておくことが重要である。たとえば、タスクのタイムホライズンが伸びていくと考えるアプローチは、最近のAI 2027レポートで示された「タイムホライズンの延長」による到来時期（タイムライン）の予測の土台になっている。⁸ こうした限界は、一部の研究者がAI 2027の著者らより到来時期をかなり遅く見積もっている理由の一端を説明する。だが、すべてを説明するわけではない。もう一つの決定的な要因は、AIの研究開発の進歩が実験用の計算資源によってどこまでボトルネックを受けるかである（ただし、それはまた別の記事のテーマである）。

この理解は、タスクの自動化そのものを考えるうえでも重要である。たとえば、より大きなタスクは原理的にはタイムホライズンの短いサブタスクに分割できるので、1秒のタスクをすべて自動化できれば経済全体を自動化できる、と素朴に論じる人もいるかもしれない。もちろんこれはばかげているように思える。こうしたタスクの分解は、文脈への依存と、どの部分が成果に寄与したかを割り当てる難しさを大量にもたらすからである。

だが、このことは興味深い経験的な問いを投げかける。さまざまなタスクはどれほど文脈に依存しているのか、そしてそれはタイムホライズンによってどう変わるのか。より一般的には、AIシステムに必要なデータや文脈へのアクセスをもたせるのはどれほど難しいのか。人々はどれくらいの頻度で、AIシステムを使って「1分のタスク」「10分のタスク」などをこなしているのか。⁹

こうした問いへの答えが、この記事で概説したボトルネックの重要性を明らかにしてくれることを願っている。そのためには、手に入れにくいかもしれない良質な経験的証拠が必要になる。だがそれは、ベンチマークでのタイムホライズンと現実世界のタスクの自動化のあいだのギャップを、よりよく理解する助けにもなるだろう。