言語モデルのベンチマーク性能はどれほど予測できるのか？

要旨

最近の11種類のモデルアーキテクチャ、36種類のモデルサイズについて、計算量にして5桁にわたる規模拡大の範囲で大規模言語モデルの性能を調べた。
さまざまなモデルサイズとアーキテクチャにわたる、BIG-BenchとMMLUでの性能のデータを示す。
性能の傾向を調べ、全体の性能と規模の間に、S字曲線と整合するかなり滑らかな関係があることを示す。
計算量の拡大に基づいてベンチマーク性能を予測する手法の概要を示す。
この手法を用いて、ベンチマーク全体の性能の予測可能性をバックテストで検証し、性能は計算量の拡大からある程度予測できることを示す。
個々のベンチマークタスクの予測可能性はそれより低いが、それでも偶然やタスクごとの単純な平均によるベースラインよりは予測しやすいことを示す。
計算量に基づく外挿は、AIの能力を予測する有望な方法であると結論づける。

背景

スケーリング則を使えば、モデルとデータセットのサイズからモデルの損失を予測できる。しかし、規模の拡大から、ベンチマークで評価される下流タスクでのモデルの性能を直接予測することはできない。この溝を埋めるため、既存の手法を土台にして、モデルの性能をスケーリング則に当てはめた。そのうえで、バックテストを用いて、この当てはめがベンチマーク性能をどれだけうまく予測できるかを評価した。

まず、スケーリング則を使って、モデルサイズNとデータセットサイズDに応じて各モデルを損失に対応づける。損失は、スケール換算計算量、つまりNとDを最適に拡大した場合にその損失を達成するのに必要な計算量で表すこともできる。これにより、図1に示すように、データセットのすべてのモデルをそのスケール換算計算量に対応づけられる。

次に、ベンチマーク性能と損失を結びつける曲線を当てはめる。こうして、図2のように損失（スケール換算計算量で表したもの）から性能を予測する当てはめが得られる。本研究では、パラメータの少ない単純な関数形を一貫して用いている。データセットが小さく、通常はタスクごとに数十点ほどのデータしかないためである。予測可能性を評価するために、バックテストを行う。当てはめの際に損失と性能の曲線の右側にある点を除外しておき、その点についての予測の誤差を評価する。ベンチマーク全体の性能と個々のベンチマークタスクの両方について当てはめを調べた。

結果

図2に示すように、ベンチマーク全体の性能は規模の拡大からかなり予測できる。シグモイド関数による当てはめで1桁分の規模拡大の先を予測すると、平均絶対誤差は6パーセントポイント（pp）である。ただし予測には、ある程度の進歩がすでに起きていることが必要である。性能が急激に上がる場合、性能の低いモデルのデータだけで遠い先まで予測するのは難しい。図3に示すように、先へ外挿するほど誤差は徐々に大きくなる。現在の傾向が続けば、私たちの外挿からは、BIG-Benchでの性能がスケール換算計算量6e25 FLOP前後で人間並みの水準（80%）を超える可能性があり、5e26 FLOPまでにこの水準に達する確率は約90%だと考えられる。

個々のタスクでは規模の拡大に伴う性能の変化のしかたが大きくばらつき、能力が急に創発するため性能の予測が難しくなることがある。図4には、うまく予測できたタスクから、規模の拡大に伴う変化がシグモイドから明らかに外れるタスクまで、定性的な例を示した。それでも図3に示すように、個々のベンチマークタスクでの性能は、偶然や単純なベースラインよりも有意に予測しやすい。タスク間の誤差の分布は裾が重い。半数を超えるタスクは10%未満の誤差で予測できるが、一部のタスクでは誤差がかなり大きい。特に、多肢選択を主な評価指標とするタスクでそうである（報告書の全文で詳しく論じている）。図4はまた、少数のモデルを調べた以前の分析では性能が規模の拡大から予測できないとされたのに対し、より大きなデータ系列では有意な（ただし不完全な）予測可能性が見られる理由も示している。

結論として、今回の結果から、言語のベンチマークは規模の拡大からかなり予測できることがわかる。ただし予測には、ある程度の進歩がすでに起きていることが必要である。性能が急激に上がる場合、性能の低いモデルのデータだけで遠い先まで予測するのは難しい。さらに、ベンチマーク全体は個々のタスクよりも予測しやすい。たとえばBIG-Bench Hardと個々のBIG-Benchタスクを比べるとそうである。これは、より高いレベルのモデルの能力は規模から予測できるという考えを裏づけるものであり、AIの開発を規模拡大を中心に捉える見方の支えにもなる。このような手法で、いずれ研究と政策の指針となる有用な予測が出せるようになることを願っている。