ベンチマークが答えを出す助けになる9つの大きな問い

Gradient Updates は著者個人の見解を述べるニュースレターで、Epoch AI 全体の見解とは限りません。

本稿では、AI能力について私が抱いている大きな問いをいくつか示す。AIが世界に与える影響を左右すると私が考える問いである。これらの問いは、Epoch のベンチマーク関連の仕事の多くを動かしている。私たちは、これらの問いに答える助けとなるベンチマークを作り、ベンチマークのデータを使った分析を行うことを目指している。

これらの問いは大まかに言って、経済的な影響と、AI能力のより根本的な原動力の両方に関わる。それぞれの問いについて、なぜ重要なのかを述べ、その答えに近づこうとしている現在のベンチマークの取り組みをいくつか紹介する。

これらの問いに興味を持ち、答えを出す手助けをしたいと思った方は、ぜひ Epoch での仕事に応募してほしい。

1. AIは私の仕事をこなせるか？

より具体的に言えば、AIは範囲の狭いタスクをこなす段階から、もっと雑然とした、範囲の定まらない仕事をこなす段階へ進めるか、ということである。Epoch の世論調査が示すように、人々が仕事でAIを使うとき、今でもたいていはタスクの一部にしか使っていない。これが変わるなら、労働市場により大きな混乱が起きる前触れとなるだろう。また、AIモデルの開発企業の売上が引き続き急成長することの前触れにもなる。

これまでのベンチマークの大半は、バグの修正、数学の問題を解くこと、レポートの執筆といった、比較的範囲の狭いタスクを扱ってきた。これをさらに推し進めるベンチマークもある。MirrorCode は、高度に構造化された設定ではあるが、大規模なソフトウェアパッケージをゼロから実装させる。Remote Labor Index は、フリーランスのプラットフォームから実際のプロジェクトを取り出し、AIの成果物を人間の参照作品と比べて人間に採点させる。しかし私のお気に入りは、あらゆる困難を正面から引き受けているものだ。Andon Café は、AIエージェントが所有・運営する実在のカフェである。この種のベンチマークは今後ずっと増えると私は予想している。ただし、従来のベンチマークというより、繰り返し行う事例研究の形をとるかもしれない。

2. いずれ大きな経済的影響を持つと予想される分野で、AIは進歩しているか？

「ChatGPT の瞬間」は、AIがほぼどんな話題についてもそれなりに筋の通った会話をできるようになったときに訪れた。「Claude Code の瞬間」は、AIがほぼどんなコーディングのタスクにもそれなりに取り組めるようになったときに訪れた。次の瞬間は何だろうか。正確に予測できるとは期待できないが、どの能力が近いうちに影響をもたらすかに賭け、その能力をベンチマークで測ることはできる。

現在おそらく最も目立つ分野はサイバーセキュリティである。AIはいつ、脆弱なシステムならほぼどれでもハッキングできるようになるのだろうか。サイバーセキュリティのベンチマークは、Hugging Face の事件より前からすでに警鐘を鳴らしていたと言えるだろう。

思い浮かぶもう一つの分野はコンピュータ操作（computer use）である。たとえ話として言えば、「うちの父」は今ではしょっちゅうAIを使っているが、チャットアプリ経由だけで、エージェント的な使い方はまったくしていない。私の推測では、高速で信頼できるコンピュータ操作が実現すれば、AIの普及はもう一段進む。どの程度の速さと信頼性が必要かは正確には言えないとしてもである。コンピュータ操作のベンチマークは、これを追跡するのに役立つ。

物理的な産業も追跡する価値があると思う。必ずしもロボット工学のことではない。たとえば、工場の現場で、熟練度の低い技術者に故障した機械の修理手順をAIが一つずつ教えられるか、といったことである。これはまだ手が届かないようだが、実現すればおそらく非常に価値がある。この種のベンチマークは、状況を明らかにする助けになるかもしれない。

3. 最先端のモデルと後続のモデルの差は、分野を問わずどれだけ一貫しているか？

この問いは、オープンウェイトとクローズドウェイト、米国と中国、さらには米国の最先端（OpenAI、Anthropic）と米国の準最先端（xAI、Meta）にも当てはまる。これらの問いにはいずれも経済的な意味合いがある。先頭を走る開発企業は、競合に対して十分な価値を獲得し、熱狂的なインフラ建設を続けられるのか、ということである。米国と中国という枠組みには、さらに地政学的な含意もある。

クローズドウェイトの開発企業がこの価値を獲得できる一つの道は、オープンウェイトとクローズドウェイトの能力の差が、見かけより何らかの形で大きい場合である。たとえば、オープンウェイトのモデルの開発企業は、限られた資源をコーディングのような少数の中心的な分野に最適化し、経済的価値の高い多数の周辺的な分野をおろそかにしているのかもしれない。その極端な例が「ベンチマックス（benchmaxxing）」である。これは、モデルがベンチマークで測ろうとしている能力では後れを取っていても、開発企業がベンチマークの高得点を優先することを指す。

慎重に設計されたベンチマークは、この経済的な問いにいくらか光を当てられるが、おそらく完全な答えは出せない。たとえば、勝者総取りの力学が非常に強ければ、能力の差がわずかでも、クローズドウェイトの開発企業が価値の大半を獲得することになりうる。

4. なぜベンチマークのスコアはどれも相関しているのか？

Epoch能力指数（ECI）は、複数のベンチマークのスコアを、AI能力の単一の総合的な尺度にまとめたものである。これがうまくいくのは、ベンチマークのスコアが、名目上は異なる分野どうしでも、互いに強く相関していることがわかっているからである。統計分析で浮かび上がる、根底にあるこの単一の次元を、どう解釈すべきだろうか。

一つの可能性は、AI企業がモデルを公開するたびに幅広い分野で改善が見られるよう懸命に取り組んでいるが、その取り組みは分野ごとにかなり独立している、というものである。たとえば、その取り組みは分野ごとに学習データを調達することかもしれない。そうだとすれば、ベンチマークのスコアが一斉に上がる理由に、それ以上深い説明はない。

しかし、より深い説明があるかもしれない。人間のIQに似た、汎用的な能力の根底にある何らかの因子である。そうだとすれば、この因子をどう解釈できるだろうか。決定的な答えはないかもしれないが、注目すべきつながりもある。METR の Time Horizons の測定値（の対数）は、飽和する前には ECI と強く相関していた。あるいは、ECI の伸びは、AIシステムが一貫した推論を維持できる最大のコンテキスト長によって大きく左右されているのかもしれない。

ECI の伸びの傾向は、AI能力の伸びが加速したかどうかを検出するのにとても役立つ。ECI が現実世界への影響に直結する量を測っているとよりはっきり言えるなら、加速の解釈も容易になる。経済的な指標さえ期待できるかもしれない。たとえば、最先端の ECI が1ポイント上がるごとに、それが売上に換算できるかもしれない。

5. AIはAIの研究開発をこなせるか？

このリストのうち、AI能力のより根本的な原動力についての最初の問いは、再帰的自己改善という古典的な問いである。AIの研究開発の自動化のなかには、能力の暴走的な伸び、つまり知能爆発につながる形もある。AIの研究開発についての包括的なベンチマーク群があれば、その先行指標になるだろう。

AIの研究開発の過程は複雑で、それを自動化するには幅広い能力が必要かもしれない。その過程のさまざまな側面を網羅するベンチマークを作ることはできる。そうしたベンチマークは、単一の指標に重点を置くこともできるし、より大きな単位の研究成果を生み出す能力を試すこともできる。

この分野のベンチマークには、現実性とコストという2つの大きな課題がある。現実性とは、最も重大なAIの研究開発はフロンティアAI企業の内部で行われており、外部の観察者からはいくらか見えにくいということである。コストとは、AIの研究開発を現実的な規模で行うと、たとえば相当数のGPUを使うなど資源を大量に必要とし、そうした資源をベンチマークのために用意するのは、規模によってはコストがかさみ、規模によっては現実的でないということである。

6. AIはその場で学習できるか？

これは継続学習（continual learning）の概念に関わる問いで、AIが繰り返し試みることでタスクを上達できるかを問う。ただし通常は、重みを更新せず、コンテキストを管理するだけで上達することを指す。その含意は大きい。AIがその場で上達できるなら、経済的に価値のあるタスクであれ危険なタスクであれ、展開前のテストでは能力の上限を見極められないからである。

私たちのベンチマーク EBR-bench は、長く戦略性に富んだキャンペーン形式のボードゲームをAIに繰り返しプレイさせることで、これを探ろうとしている。AIは最初から下手なわけではないが、これまでのところ、ゲームを繰り返しプレイしても、上向きの学習の軌跡をほとんど、あるいはまったく示していない。このベンチマークは、継続学習の能力が現れたときに、それを見分ける助けになる。

7. 推論実行のスケーリングの見返りはどれほどか？

前の問いと近い関係にあるこの問いは、AIシステムが十分に長く考えればどんなタスクでもこなせるのかを問う。それがよくわかっていないのはもどかしい。実験ではせいぜい対数的な伸びしか見られない傾向にあるので、多くのタスクでは必要な規模が現実的でないかもしれない。しかし、現実的でない量のトークンが必要な「だけ」の能力なら、推論実行のコストの低下や追加の学習などによって、まもなく手の届くものになるかもしれない。

資源を大量に必要とすること以外にも、ベンチマークでこれに答えるには少なくとも2つの課題がある。第一に、推論実行の計算資源をスケーリングする最適な方法がわかっていない。直列的に考える時間を延ばすのは明白な戦略だが、マルチエージェントの構成や専用のハーネスのほうが効率的かもしれない。第二に、答えは分野によって異なるかもしれない。たとえば、「山登り（hill-climb）」で改善しやすい分野は、検証の難しい分野が頭打ちになるところをはるかに超えて、着実に対数的な伸びを示すかもしれない。

8. 強化学習は、分野をまたいで、また分布外にどれだけ汎化するか？

AI能力の向上は、一部には学習データの改善、つまり量の増加と質の向上によるものである可能性が高い。しかし、それがどの程度主な原動力なのだろうか。AIシステムは、何らかの意味で学習分布から遠いタスクが苦手なのだろうか。

最も強い意味ではそうではない。AIシステムは、非公開のゲームから取った「パズル」（チェスのパズルに相当するもの）からなる私たちのベンチマークで成績を上げてきた。このゲームで事後学習が行われたとは考えにくいのに、である。また、AIシステムは MirrorCode で、資源の少ない言語で作業するときも、資源の多い言語のときとほぼ同じくらいの成績を上げる。AIシステムが行える種類の推論は、すでにかなり柔軟である。

学習分布から遠ざかるほど、たとえば検証の難しいタスクに向かうほど、汎化の程度ははっきりしなくなる。汎化はそれほど落ちず、AIシステムは何らかのしきい値を越えて、今や「何もかもが一斉に上達している」という可能性も十分にある。これは「強化学習にとっての GPT-3 の瞬間」と表現されることもある。本当なら一大事である。

学習分布から遠いことが強く裏づけられ、しかもAIが苦手とする他の理由と交絡していないベンチマークがあれば、これをはっきりさせる助けになるだろう。

9. AIは「新しいアイデア」を思いつけるか？

私たちは、ある程度の技術革新には慣れている。人間が新しいアイデアを思いつき、それが試され練り上げられ、やがてその一部が世界に大きな影響を与える。AIはこうしたアイデアの生まれる速さと価値を大きく高め、前例のない影響をもたらす可能性がある。物理的な試験など、他のボトルネックがこの過程を遅らせないかどうかは、まったく自明ではない。とはいえ、天才たちが詰まったデータセンターが何を思いつくかは誰にもわからないではないか。

私たちはまだ、天才たちが詰まったデータセンターを手にしているとは言いがたい。数学の革新は最も進んでいるかもしれないが、これまでのAIの数学的洞察について数学者たちが述べていることを見るかぎり、どれも人間が思いつけるし、実際に日常的に思いついている種類のものだ、というのが私の印象である。

ベンチマークは、この状況が続くかどうかを見張る助けになる。実際、FrontierMath: Open Problems の大きな目的の一つは、そうした事例を見つけやすくすることである。収録する問題には、人間が「新しいアイデア」と認めるものが必要になる可能性がそれなりに高いものを選んでいる。したがって、AIがどれかを解いたなら、少なくとも調べてみる価値はあるはずだ。何か驚くべきことを思いついたのかもしれないからである。