AIの能力は加速したのか？｜Epoch AI 日本語版

はじめに

AIの能力が最近加速したかどうかを判定するため、四つの能力指標の進歩の傾向を調べた。そのために、過去のデータに候補となる曲線をいくつか当てはめ（たとえば単純な線形の傾向と双曲線の傾向）、それぞれの曲線がまだ見ていないデータをどれだけうまく予測するかを比べた。

次のインタラクティブなグラフは、候補の各曲線が過去のデータにどう当てはまるかを示す。タブを使うと、時系列の表示と、各曲線の交差検証での精度とを切り替えられる。

四つのうち三つの指標が加速を示し、推論モデルがその要因とみられる

四つの指標のうち三つ（ECI、METRの50%タイムホライズンの対数、複数の数学ベンチマークから私たちが作った数学中心の指数）で、2023年以降のデータに当てはめた全期間の線形の傾向と比べて、進歩が速まったことを示す強い証拠が見られた。

この三つの指標で最も成績が良かったモデルは、互いに独立した二本の線形の傾向、つまり推論モデルの傾向と非推論モデルの傾向の組だった。推論モデルでは、非推論モデルと比べて性能が一度だけ跳ね上がったうえに、傾向もおよそ2〜3倍速い。とはいえ、どの指標についても、ほかの超線形の当てはめもいくつか良い成績を示すので、正確な成長率を絞り込むことはできない。

私たちはこれを「推論」と「非推論」の区分と呼んできたが、完全にきれいな二分法ではない。相関はあるが厳密には同じではない複数の変化が、同じ数か月のうちに起きた。推論実行の計算資源のスケーリング、事後学習での強化学習（RL）の多用、推論トークンを生成するモデルの登場である。能力の加速が見られるのは、ちょうどその頃である。

四つ目の指標である WeirdML V2 の結果から作った指数には、加速の兆しは見られなかった。全期間の単一の線形の傾向が最もよく当てはまった。考えられる説明の一つは、WeirdML V2 がモデルを異例なほど資源の限られた環境に置くことだ。モデルは動作するコードを提出する試行を5回しか与えられず、外部ツールも使えない。最近のRLの学習では、こうした設定に重点が置かれてこなかった。ほかの指標に見られるような加速がここで起きていないのは、そのためかもしれない。ただし、WeirdML V2 には推論モデル以前のデータが1年分ほどしかないので、変化点を検出する統計的な検出力も限られている。

一般化可能性についての注意。加速が見られた三つの指標は、プログラミングと数学に集中している。これらは研究所が改善の対象として明確に狙ってきた分野であり、重要な性質を共有している。正しさを自動で検証しやすく、そのため強化学習の自然な対象になるのだ。正しさを検証しにくいタスクでは同じような加速は起きていないかもしれず、ここで示した加速は、見出しの数字が示唆するほど一般的なものではないかもしれない。

結論として、関心のあるいくつかのAI指標で明確な加速が起きており、それは2024年の推論モデルの公開と時期が一致しているようだ。この分析の制約となっているのは、十分に広い範囲のLLMの公開をカバーできるベンチマークがあるかどうかである。今後は、特にプログラミングと数学以外の分野を扱うものを中心に、ほかのベンチマークも加えたいと考えている。

方法論

AIの能力指標

四つのAIの能力指標を用いる。

ECI（Epoch能力指数）：Epoch のベンチマークデータのアーカイブ内の「epoch_capabilities_index」から取得した。これに、Epoch の以前の傾向分析のために算出した GPT-3.5 の結果を加え、データセットを2022年3月までさかのぼらせた。

METRの50%タイムホライズン（バージョン1.1）：METR が公表したベンチマーク結果から取得した。タイムホライズンの自然対数を用いることで、ほぼ線形の尺度にのせる。タイムホライズンの値を対数変換して、進歩をほぼ線形の尺度にのせるのである。

統合数学指数。MATH Level 5、Frontier Math 1-3 と 4、OTIS Mock AIME 2024-2025 の問題ごとの結果（Epoch から取得）に、MathArena の結果を補って、複合的な数学ベンチマークを作った。これらのベンチマークは難しさも採点方法もまちまちなので、すべてのモデルを共通の尺度にのせる筋の通った方法が必要になる。そこで、2パラメータ・ロジスティック（2PL）項目反応理論モデルを用いた。このモデルは、ベンチマーク間での問題の難しさと識別力の違いを考慮しながら、各モデルについて潜在的な「能力」パラメータを推定する。

この2PL項目反応理論モデルでは、各モデルが問題 $j$ に正答する予測確率を $σ (a_{j} (θ_{i} - b_{j}))$ とする。ここで $θ_{i}$ はモデルの能力、 $a_{j}$ は問題の識別力、 $b_{j}$ は問題の難しさである。モデルのカバー率が最も高い問題群から難しさが中央値の問題を選び、それを $a = 1, b = 0$ に標準化する。パラメータは、リッジ罰則（ $λ_{a} = 0.378$ 、 $λ_{b} = 0.0001$ ）付きの二値交差エントロピーを最小化して推定する。罰則の値は、項目の傾きの95%が中央値の10倍以内に収まるように選んだ。得られた能力スコアは、ECI と比較できるよう、Sonnet 3.5 が130、GPT-5 が150になるように線形に尺度を変換する。

WeirdML V2 指数。WeirdML V2 の試行ごと・問題ごとの分類精度の結果から、同様の指数を作った。

ここでのIRTモデルは、WeirdML V2 に無視できない当て推量の下限があり、一部の問題には性能の上限があることを考慮して調整した。まず、当て推量の正答率と上限にはベンチマークが提供する値を用いて、生の精度を $p_{transformed} = max (0, (p_{raw} - guessing) / (max - guessing))$ と変換する。次に同じ2PLモデルを当てはめるが、変換後の値は連続値なので、二値交差エントロピーではなく予測の二乗誤差を最小化する。

データセットの準備方式

頑健性を確かめるため、AIの能力指標ごとに四つの方法でデータを準備する。

公開時のSOTA：各データ点は、それまでのすべての公開モデルより厳密に高い性能を達成したモデルである（Epoch と METR が以前の分析で用いた既定の方法）。

主要な公開：OpenAI、Anthropic、Google DeepMind が番号を付けて公開した主力モデルで、小さな派生版は除く。

日次最大値：公開時のSOTAのデータを、各日にその時点で最良の性能を引き継ぐことで日単位の解像度に変換する。

日次補間：日次最大値と同様だが、一定の値を引き継ぐのではなく、連続するSOTAの公開の間を線形に補間する。これにより、公開の頻度が高いだけで機械的に進歩が速く見えてしまう問題を避けられる。

大筋の結論は、この四つの方式のどれでも変わらない。

候補の当てはめ

データセットと方式の組み合わせごとに、八つのパラメトリックモデルを当てはめる。並びは、想定する成長が遅いものから速いものの順である。

全期間線形： $y = a + b t$ 。進歩の速さは一定。
推論による分割：推論モデルと非推論モデルに一本ずつ、互いに独立した二本の線形の傾向。推論が可能なモデルの登場時に、水準の移動と傾きの変化の両方を許す。
区分線形：全期間の線形の傾向と、変化点を一つもつ傾向のどちらかを、BICによって自動で選ぶ（R のパッケージ「segmented」を用い、候補となる変化点を $k = 0$ 〜5として実装した）。
対数項付き線形： $y = a + t (b + c \cdot ln (t))$ 。加速するが、対数的にしか加速しない成長（ $c \geq 0$ という制約付き）。
二次： $y = a + b t + c t^{2}$ 。標準的な多項式の加速（ $c \geq 0$ という制約付き）。
べき乗則： $y = a + b (t + t_{0})^{p}$ 、ただし $p > 1$ かつ $t_{0} > 0$ 。
指数： $y = a + b \cdot e^{c t}$ 、ただし $c > 0$ （METRのタイムホライズンはすでに対数変換されているので、これは元の尺度では二重指数的な成長に当たる）。
双曲線： $y = a + b / (t_{0} - t)$ 、ただし $t_{0} > 0$ 。有限の時点で発散し、「特異点」モデルを表す。

時間 $t$ は、各データセットの最初の観測からの年数で測る。パラメータは重みなしの最小二乗法で推定する。

当てはめの良さの評価

当てはめの比較には、予測という用途を模した拡張ウィンドウ交差検証を用いる。最小の訓練セット（各曲線が少なくとも4〜5個のデータ点をもつように選ぶ）から始め、訓練ウィンドウで各モデルを当てはめ、それ以降のすべてのデータで予測を評価する。次にウィンドウを観測一つ分広げ、この手順を繰り返す。

訓練の最小の区切りは、ECI（2024年6月）、METRのタイムホライズン（2024年1月）、統合数学（2024年9月）、WeirdML V2（2025年1月）である。

各ステップで、五つの予測期間について予測誤差の二乗平均平方根を計算する。次の1点のみ、そして訓練セットの区切りから3か月、6か月、9か月、12か月以内のすべての点である。予測として意味のある先の長さと、データの期間が限られていることとの兼ね合いから、6か月の予測期間を主要な指標としてあらかじめ選んでおいた。

公開時のSOTAと主要な公開の方式では、誤差を二通りに計算する。「公開ごと」の方法（各ウィンドウ内のモデルの公開について誤差を平均する）と、「日次補間」の方法（公開が頻繁な期間に大きな重みがかからないよう、評価のために公開の間の日々の値を補間する）である。日次最大値と日次補間の方式は、もともとの日次の値で評価する。

「成績の良い当てはめ」の集合の作り方

モデルの順位の不確かさを定量化するため、一つ抜き（leave-one-out）の安定性分析を用いる。データセット、方式、評価方法の組み合わせごとに、最も成績の良い曲線（6か月の予測期間での平均RMSEが最小のもの）を特定する。次に、観測を一つ除いた場合（公開ごとの方式）、または連続するデータ点の10%のまとまりを除いた場合（日次の方式）に、順位が入れ替わるかどうかを調べる。こうした摂動のうち少なくとも5%で全体の最良の曲線を上回った曲線を、「成績の良い」集合に入れる。

これは正式な統計的検定ではなく、近似的な手法である。厳密な信頼区間を示すためではなく、どの当てはめが最良に「近い」かの感触をつかむためのものである。