AIの能力は高価な再学習なしでも大きく向上させられる

LLMをはじめとする基盤モデルの学習に使われる膨大な計算量は、近年のAIの進歩の主な原動力の一つであり、「苦い教訓（Bitter Lesson）」が認識されるきっかけとなった。計算能力をよりうまく活用する汎用的な手法こそが、最終的には最も効果的だという教訓である（Sutton, 2019）。フロンティアモデルの学習コストは今や非常に高くなり、それを負担できるのはごく一部の主体に限られている（Epoch AI, 2023）。

本研究は、膨大な計算資源を利用できなくても、学習後に性能を向上させる方法を調べる。こうした改良を、表1に示す五つの区分に分ける。

論文の全文はこちらで読める。この論文は、Epoch AI、Open Philanthropy、UC Berkeley、ORCGの共同研究である。

区分	説明	例
ツールの使用	AIシステムに新しいツールの使い方を教える	WebGPT、Toolformer
プロンプト	モデルへのテキスト入力を変えて、その振る舞いと推論を誘導する。	思考の連鎖（Chain of thought）
足場（スキャフォールディング）	モデルの推論や、モデルの複数のコピーの間の情報の流れを構造化するプログラム	AutoGPT、LATS
解の選択	問題に対する複数の解の候補を生成し、その中から選ぶ手法。	AlphaCode、生成した答えを検証するモデルの学習
データ	ファインチューニング用に、より多くの、より質の高いデータを生成する手法。	Minerva、自己生成データによるファインチューニング

表1: 事後学習での改良の区分と例。

主な結果

計算量換算の向上（CEG）：改良による性能向上を定量化する指標として、計算量換算の向上（Compute-Equivalent Gain、CEG）という概念を導入する。CEGは、その改良と同じだけベンチマーク性能を上げるのに、事前学習の計算量を何倍にする必要があるかで定義する。公開されているベンチマーク評価からCEGを推定する方法論を開発した。

事後学習での改良の調査：ツール、プロンプト、足場、解の選択、データという五つの区分にわたって、PTEを調査した。関連するベンチマークでの推定CEGは、多くの場合5〜30倍である。

これらのPTEの計算コストも推定した。コストには二つの種類がある。一つは、モデルをPTEに対応させるための1回限りのコスト（たとえば、ツールの使い方を学ばせるためのモデルのファインチューニング）、もう一つは、推論実行のコストの継続的な増加（たとえば、改良が複数のサンプルを生成して最良のものを選ぶ方式の場合）である。調べたすべてのPTEで、1回限りのコストは事前学習のコストの10%未満で、0.1%未満であることも多い。推論実行のコストは大半の場合変わらないが、最大で約100倍に増える場合もある。

政策への示唆

事後学習での改良は次々に発見・改善されていくため、展開済みのLLMの能力は時とともに向上していく。この結果からは、責任あるスケーリング方針のような安全のための方針に「安全のための余裕」を組み込むべきだと考えられる。つまり、事後学習での改良が今後進むことで危険な水準に達すると見込まれる能力も、あらかじめ制限しておくということである。

これらの改良は計算コストが比較的低いため、大規模な事前学習を行える主体よりも幅広い主体がその開発に取り組める。そのため能力の向上が民主化される一方で、AI開発の規制には課題が生じる。膨大な計算資源を利用できる主体だけに注目するのでは、もはや十分ではないからである。