一度学習させ、何度も展開する：AIと収穫逓増

はじめに

人間の知能に対するAIモデルの大きな利点は、モデルを一度学習させれば、その後は推論実行のために任意の数のコピーを動かせることである。この「一度学習させ、何度も展開する（train-once-deploy-many）」という性質があるので、1人の人間の育成にはとうていかけられないほど多くの資源を、1つのAIモデルの学習に投じても正当化できる（AI研究所は最近、実際にそうし始めている）。たとえば、フロンティアモデルは数万基のGPUで学習させるのが普通だが、推論実行時の各インスタンスに必要なGPUは数十基にすぎない。

この違いから、学習と推論実行のための計算資源を増やすとき、AIシステムは規模に関して収穫逓増を示すと考えられる。当面は価格効果を脇に置くと、計算資源が2倍あれば、推論実行に使っているモデルのコピーを2倍の数動かすだけで経済的な産出を2倍にできる。さらに、同じ追加の計算資源を使って2倍の学習計算量でモデルを学習させることもでき、そうした大きなモデルは推論実行の計算資源をより効率よく産出に変換すると予想される。コピーを増やして展開することと、その効率を上げることを両方行えば、経済的な産出の総量は2倍を超えて増える。AIの産出が増えることが価格にも影響し、この利得を弱めうることは後で論じるが、価格が一定という単純化した仮定のもとでは、線形を上回るスケーリングの可能性ははっきりしている。

この仕組みは、研究開発（R&D）が経済全体で収穫逓増を生む仕組みと似ている。たとえば、研究開発と技術進歩が人間の経済で規模に関する収穫逓増をもたらす理由についても、同様の議論ができる。人と資本の投入が2倍になれば、現在の技術で産出は2倍になるが、研究者の数と経済活動が2倍になれば研究開発も速まり、それらの資源を使う効率が上がる。その結果、経済的な産出は2倍を超えて増え、AIシステムとは異なる仕組みで同様の効果が得られる。

重要な違いはこうである。AIシステムはイノベーションと複製の両方から恩恵を受けられるが、人間はイノベーションからしか恩恵を受けられない。AIモデルの「一度学習させ、何度も展開する」という性質は、人間の労働者では得られない独自の収穫逓増の源を生む。したがって、人間の経済で規模に関する収穫逓増が生じるという見方にどれほど説得力を認めるにせよ、AIの労働者が生産の大半を担う経済では、その説得力ははるかに大きいと考えるべきである。

AIモデルの「一度学習させ、何度も展開する」という性質の帰結として規模に関する収穫逓増が生じるというのはもっともらしく思えるが、その大きさをどう定量化するかはすぐにはわからない。実は、学習と推論実行の計算資源のトレードオフの傾きを推定できれば、定量化できる。このテーマは私たちの過去の研究（こちらとこちら）で扱った。

手法	説明	性能を一定に保ったときの学習／推論実行への影響
過剰学習（overtraining）	学習計算量が最適となる方針よりも多く学習させる	↑ 学習、↓ 推論実行
MCTS	完璧な方策を学習させる代わりに、実行時に探索で意思決定の経路を探る	↓ 学習、↑ 推論実行
蒸留	より高性能なモデルの出力を使って、より小さくコスト効率のよいモデルをファインチューニングする	↑ 学習、↓ 推論実行
反復サンプリングと検証	推論実行時に複数のサンプルを取り、検証に基づいて最良のものを選ぶ	↓ 学習、↑ 推論実行
思考の連鎖（chain of thought）	構造化したプロンプトによって、実行時に推論を明示的な段階に分ける	↓ 学習、↑ 推論実行

表1. 計算資源のトレードオフの手法：性能を一定に保ったまま、計算コストを学習と推論実行の間で移す方法。

核となる考え方は、AIモデルが行う多くのタスクでは、推論実行時に使う計算資源を増やす代わりに学習時に使う計算資源を減らしても（あるいはその逆でも）、同じ水準の性能を保てるということである。ここで決定的に重要なパラメータは、学習計算量を1桁増やすごとに、推論実行の計算資源を何桁減らせるかである。

基本的な議論

$f (T, I)$ を、AIモデルがどれだけの産出を生めるかを測る生産関数とする。ここで $T$ はモデルの学習に費やした計算資源、 $I$ はモデルの実行に費やした計算資源を表す。この産出は、一定の品質のコードの行数でもよいし、GPU生産についての研究開発でもよい。後で見るように、後者はフィードバックループを生むので重要である。

生産関数 $f$ には次の2つの性質を求める。

推論実行の計算資源に対する線形のスケーリング：学習計算量 $T$ を固定したとき、推論実行の計算資源 $I$ を2倍にすれば産出も2倍になる。数学的には、ある関数 $g (T)$ について $f (T, I) = g (T) \cdot I$ となることを意味する。直観的には、同じモデルのコピーを2倍の数動かせば2倍の産出が得られるはずだということである。
学習と推論実行の計算資源のトレードオフ：ある定数 $c > 0$ について、 $T$ 、 $I$ 、 $x$ のすべての値で $f (T, I) = f (T / x, I \cdot x^{c})$ が成り立つ。言い換えれば、同じ産出を保ったまま、学習計算量1桁を推論実行の計算資源 $c$ 桁と交換できる。私たちの過去の研究は、大きな不確実性はあるものの、 $c$ が1前後であることを示唆している。

この2つの性質から $f$ の形が決まる。性質2で $x = T$ とおくと、 $f (T, I) = f (T / T, I \cdot T^{c}) = f (1, I \cdot T^{c})$ が得られる。次に性質1を使うと、これは $g (1) \cdot I \cdot T^{c}$ に等しい。したがって産出 $f$ は $I \cdot T^{c}$ に比例しなければならない。

チップの数を2倍にすれば I と T の両方を2倍にできるので、求めていた規模に関する収穫逓増が得られる。パラメータ c は、この収穫逓増の大きさを定量化している。

AIでは、学習計算量と推論実行の計算資源をトレードオフできる。

このトレードオフは、このテーマを扱った2022年の記事で初めて論じ、このトレードオフを生むさまざまな手法を整理した。

この2つのモデルは同じ性能、すなわち同じ「産出」を達成する。

一方は学習計算量が多く、推論実行の計算資源が少ない。

もう一方は学習計算量が少なく、推論実行の計算資源が多い。

このトレードオフが、規模に関する収穫逓増を生む。

モデルの産出を保つか高めながら、学習計算量を推論実行の計算資源と（あるいはその逆に）交換できるので、計算資源の総量 T+I を2倍にすると産出は2倍を超えて増えうる。インスタンスが増え、しかもそれぞれの効率が上がるからである。

モデルDの産出はモデルAの4倍だが、学習計算量は2倍しか使っていない。

収穫逓増がどのように生じるかを見るために、次の例を考えよう。

モデルAは、学習と推論実行に同じ量の計算資源（それぞれ1e26 FLOP）を使う。

モデルAの計算資源の総量は2e26 FLOPである。

推論実行の計算資源を2倍に増やせば、産出も2倍になる。

まず、モデルAのコピーを2倍の数動かす（推論実行の計算資源を2e26 FLOPに増やす）。これがモデルBで、産出は2倍になる。

モデルBの計算資源の総量は3e26 FLOPである。

代わりに追加の計算資源を学習に使っても、同じだけ産出を増やせる。

モデルCは学習計算量を2倍にし、推論実行の計算資源を減らしたもので、計算資源の総量はモデルBと同じ3e26 FLOPである。

学習計算量を増やすとモデルの「効率」が上がり、より少ない推論実行で同じ産出を達成できる。

実際には、学習と推論実行のトレードオフは限られた範囲、多くの場合は数桁の範囲でしか成り立たない。

この限られた範囲を外れると、学習計算量を増やして推論実行の計算資源を減らす（あるいはその逆の）交換から得られる見返りは逓減する。

よりよく学習させたモデルでは、推論実行を増やしたときの産出の増加がさらに大きくなる。

モデルCは推論実行の計算資源をより効率よく使えるので、推論実行を2倍にすると、学習計算量は2倍しか増やしていないのに、産出の総量は4倍になる。

この例から、AIの「一度学習させ、何度も展開する」という性質によって収穫逓増が生じる仕組みがわかる。追加の計算資源は、よりよいモデルの学習と、そのコピーをより多く動かすことの両方に使える。

これはトレードオフが無限の範囲で成り立つと仮定していないか？

このモデルの大きな限界は、性能を保ったまま、学習計算量を増やして推論実行の計算資源を減らす（あるいはその逆の）交換がつねに可能だと仮定している点である。実際には、このトレードオフには限界がある。ある時点を超えると、一方の種類の計算資源を増やしても、もう一方を減らした分を補えなくなる。計算資源をトレードオフするさまざまな手法を組み合わせても、トレードオフが及ぶのは通常せいぜい数桁の範囲である。

幸い、規模に関する収穫逓増を得るのに、このトレードオフが無限に成り立つ必要はない。 $k_{1}$ と $k_{2}$ を $k_{2} > k_{1}$ を満たす定数として、 $k_{1} < T / I < k_{2}$ となる $T$ と $I$ の値でトレードオフが成り立てば十分である。こちらのほうがはるかに現実的な想定である。

これを確かめるため、少し工夫した方法で反復する。 $h = (k_{2} / k_{1})^{1 + c}$ とおくと、次が得られる。

f (T, I) = \frac{I}{T} \cdot k_{2} \cdot f (T, \frac{T}{k _{2}}) = \frac{I}{T} \cdot k_{2} \cdot f (\frac{T}{h}, h^{c} \cdot \frac{T}{k _{2}})

= \frac{I}{T} \cdot k_{2} \cdot h^{1 + c} \cdot f (\frac{T}{h}, \frac{T}{k _{2} \cdot h})

= h^{1 + c} \cdot f (\frac{T}{h}, \frac{I}{h})

言い換えれば、 $T$ と $I$ をともに $h$ 分の1に減らすと、産出の総量は $h^{1 + c}$ 分の1に減る。学習と推論実行の計算資源の比を一定の範囲内に保った場合でも、まさに求めていた規模に関する収穫逓増が得られるのである。

AIだけの経済にとってこれは何を意味するか

AIがコンピュータチップを製造できるほど高度になった、単純化した経済モデルを考えてみよう。直観的には、このようなシナリオでは成長が加速すると予想されるかもしれない。そしてこの予想は正しいことがわかる。

簡単のため、資本財はコンピュータチップだけとし、その蓄積量を $K$ で表す。生産関数 $f$ もコンピュータチップの生産を表すものとする。チップは減耗せず、経済は $0 < q < 1$ として、チップの割合 $q$ を学習に、 $1 - q$ を推論実行に割り当てる。さらに、産出はすべて再投資されてコンピュータチップの蓄積を増やすと仮定する。この場合、この経済の動きを記述する方程式は次のように書ける。

\frac{d K}{d t} = f (T, I) \sim I \cdot T^{c} = (1 - q) \cdot K \cdot T^{c}

\frac{d T}{d t} = q \cdot K

この経済が加速的な双曲線的成長を示すことは容易に示せる。大まかに言えば、 $K$ が2倍になるたびに $T$ も2倍になり、それによって $K$ の成長率が $2^{c}$ 倍になる。こうした力学系の性質は、AIによる爆発的成長についての私たちの研究でより厳密に分析したので、ここでは簡潔にするため詳しい議論を省く。以下に、 $c = 1$ 、 $q = \frac{1}{2}$ 、初期条件 $T_{0} = K_{0} = 1$ としたときのこの系の振る舞いの例を示す。

上の単純なモデルには非現実的な仮定が多く含まれている（産出がAI労働者の数に比例して増える、計算資源の蓄積が減耗しない、など）が、重要な原則を示している。AIの「一度学習させ、何度も展開する」という性質は、成長を加速させる強い傾向を生む。追加のコンピュータチップは、既存のAIモデルのコピーをより多く動かすことにも、よりよいモデルを学習させることにも使えるからである。