直接アプローチ（The Direct Approach）

概要

経験的なスケーリング則は、計算量やデータといった学習への投入と対応する交差エントロピー損失を予測するのに役立つ。しかし、AIが主観的なある性能水準にいつ到達するかを予測するには、モデルの交差エントロピー損失を解釈する必要がある。このブログ記事では、そのための理論的な方法の一つとして、私たちが「直接アプローチ（Direct Approach）」と呼ぶものを論じる。直接アプローチを理解する鍵は、スケーリング則を使ってモデルに対する真の分布のKLダイバージェンスを予測でき、そこからモデルが真の分布とどれだけ見分けやすいかが分かるという点にある。十分に長い系列にわたって見分けがつかないなら、データ分布に暗に含まれるタスクをこなす能力もある、と論じることができる。これが正しければ、スケーリング則を使って、特定の性能水準を達成するのに必要な学習計算量の上限を求めることができる。

直接アプローチとは、スケーリング則が記述する機械学習モデルの損失を直接外挿し解釈することで、AIの到来時期（タイムライン）を予測するという考え方に私たちが付けた名前である。基本的な考え方は次のとおりである。モデルの交差エントロピー損失は、モデルが学習分布と「どれだけ見分けやすいか」を決めるものとして解釈できる。その量を使えば、長い系列にわたって信頼性の高い高品質な推論を行うようモデルを学習させる難しさの上限を求められる。

この方法の全体は報告書で説明しており、こちらで読むことができる。

この方法は、交差エントロピーが、モデルが学習分布をどれだけうまく模倣できるかの尺度として数学的に解釈できることに気づいたことから生まれた。あるタスクを完璧に模倣できるモデルであれば、その交差エントロピー損失は削減不能な損失に等しくなるはずである。その場合、そのタスクを行う人間をモデルで置き換えても性能が落ちないことは容易に分かる。

ここでの主な洞察は、見分けがつかないことは能力があることを意味する、というものである。ある出力の集まりがモデルから来たのか人間から来たのか見分けられないなら、そのモデルは同じタスクを行う人間と少なくとも同程度の能力を持っているはずである。もちろん、現実の世界では、複雑な分布で削減不能な損失に達しているモデルは一つもない。したがって、自動化したいタスクを十分にこなすには、削減可能な損失がどの程度であれば「十分に良い」のかに答える枠組みを考える必要がある。

この問いに対する私たちの方法は、スケーリング則を使って推定できるKLダイバージェンスの性質を利用する。モデルに対する学習分布のKLダイバージェンスから、モデルからサンプリングしているのか真の分布からサンプリングしているのかについて望む確信度に達するまでに、モデルから平均でいくつのサンプルが必要かが分かる、という考え方である。私たちはこの量をモデルの「k性能（k-performance）」と呼ぶ。

モデルのk性能は、実際には2つの原理から導かれる。1つ目はKLダイバージェンスの自明な性質で、2つ目は人間の識別能力のモデルである。KLダイバージェンスからは、理想的な観察者がモデルと学習分布を見分けられるようになるまでに平均でいくつのサンプルが必要かが直接分かる。しかし実際には、この量は、訓練を受けた人間の判定者が同じことをするのに実際に必要なサンプル数よりもはるかに少ない可能性が高い。

報告書では、人間の識別能力の簡単なモデルを導入している。その際、人間の能力についての2つのモデルが基本的に同じ結果を導くことを示した。1つ目のモデルは、人間が理想的な識別者より一定の倍率だけ遅く更新すると仮定する。2つ目のモデルは、人間が理論上注意を向けられる証拠のうち一定の割合にしか注意を向けないと仮定する。どちらのモデルからも、任意の一定の性能水準について、人間の判定者に対するモデルのk性能は、理想的な識別者に対するモデルのk性能の一定倍になることが導かれる。私はこの倍率を「人間の減速係数」と呼ぶ。

この結果が重要なのは、モデルのk性能を、KLダイバージェンスのスケーリング則と人間の減速係数の推定値だけを使って計算できるからである。どちらも実験によって推定できる。

大まかに言えば、モデルのk性能がタスクの平均的な長さより長ければ、そのモデルはおそらく人間の労働者を十分に代替できる。なぜなら、平均的なタスク以下の長さでは、モデルの出力が真の分布から来たのかモデル自体から来たのかを確信をもって判定できないからである。したがって、k性能がタスクの平均的な長さより長いモデルは、そのタスクを十分に自動化できるはずだと考えられる。

直接アプローチがタスクの自動化に必要な学習計算量の上限を与えるのは、タスクを行う人間を直接模倣するようモデルを学習させるより効率的に、モデルにタスクを自動化させる方法があるかもしれないからである。最もわかりやすい例として、ある時点から先は、タスクでどれだけうまくやっているかについての報酬信号をモデルに直接与えるほうが、効率よく学習させられるかもしれない。これは、テニスを習う人が、最初は上手な選手の技術をまねようとするが、やがて試合に勝つために何がうまくいき何がうまくいかなかったかを観察して自分なりの技術を身につけていくのに似ている。

とはいえ、直接アプローチは理論上はうまくいくかもしれないが、実際には、関心のあるほとんどのタスクについて妥当な上限を計算できるだけの良いデータは、ごく限られている。最も大きな理由は、スケーリング則の文献がまだ少なく、数学や科学文献など、関心のあるさまざまな分布で学習するモデルのスケーリング特性について、まだあまり情報がないことである。現在手に入る最良のデータは、おそらく一般的なインターネットのデータで学習したモデルを調べたHoffmann et al. (2022)のものだろう。この記事では科学の自動化を例として使っているが、残念ながら、科学の過程を模倣するよう学習させたモデルのスケーリング則のデータはあまりない。そのため、この特定のタスクの進歩について具体的な予測を立てる能力は限られている。

質問と回答

さらに、直接アプローチについて多くの人から意見を募ったところ、この方法についてよく寄せられる質問がいくつもあり、一つずつ体系的に答える価値がありそうだと分かった。以下は、よくある質問とそれに対する私たちの回答である。

質問：この枠組みは、新しい検証可能な予測を何か立てるのか？

私たちの回答：立てる！ この枠組みの中心的な予測は、（計算量に対して最適に学習させた）モデルの学習計算量と、人間がそのモデルを学習分布と確実に見分けるのに平均で必要なサンプル数との間に、べき乗則の関係（両対数グラフで直線）があるというものである。この枠組みは、たとえば次のようなことを示せば反証できる。10^20 FLOPで学習させた言語モデルを学習分布と確実に見分けるのに平均100トークン、10^22 FLOPで学習させたモデルでは1000トークンが必要なのに、10^24 FLOPで学習させたモデルでは1200トークンしか必要ない、という結果である。

質問：現実の世界で実験を行えないのに、科学論文を模倣できるモデルが科学を行えると仮定するのはなぜか？

私たちの回答：理論上は直接アプローチをどんな分布にも適用できる。つまり、論文を書く過程だけでなく、人間が行う科学の過程全体を模倣するようモデルを学習させる難しさの計算にも使える。しかし、そのような抽象的な分布のスケーリング特性についてのデータはないので、直接アプローチを使って、科学論文のような普通の文書を模倣するようモデルを学習させる難しさの上限を求めるほうが、はるかに扱いやすい。

それでも、この方法は有益な知見をもたらすと私たちは暫定的に考えている。高品質な科学的推論を模倣することは、モデルに科学を行わせるうえで最も困難なボトルネックの一つである可能性が高いと考えるからである。言い換えれば、直接アプローチを使えば、長い系列にわたって信頼性の高い高品質な推論を行うようモデルを学習させる難しさの上限を十分に計算できるかもしれない。そして、そのようなモデルがあれば、科学の過程の自動化に非常に役立つ可能性が高い。たとえば科学者は、そのようなモデルに問い合わせて、ある仮説を検証するにはどんな実験を行えばよいかを尋ねることができるだろう。

質問：インターネットのデータでのスケーリング則が、科学的推論など他のタスクでのスケーリング則にも当てはまると仮定するのはなぜか？

私たちの回答：スケーリング則は、多くの異なるデータ分布やモダリティにわたって普遍的に見られることも分かっている（たとえばHenighan et al. 2020を参照）。私たち自身は、科学以外のインターネットのデータが、科学論文のような他の種類のテキストデータよりはるかに学習しやすいとは考えていない。GPT-4のような最高水準のモデルは、科学以外のインターネットのデータで学習しているにもかかわらず、科学的推論をそれなりによく理解しているように見える。さらに、科学以外の言語タスクの進歩は、科学的推論の能力の進歩と手を携えて進むことが多い。モデルが失敗する場合も、多くはソーシャルメディアで見かけるような、より普通の場面でも失敗するような形で失敗する（たとえば、微妙な推論ができなかったり、ある文脈の中の細かな含意に気づかなかったりする）。

それでも、この質問は、現在示している形での私たちの結果に対する妥当な批判だと考える。科学論文のようなより複雑な分布でのスケーリング則は、Chinchilla論文のスケーリング則とは異なる形になるだろうと私たちも考えている。しかし、それは直接アプローチそのものの致命的な欠陥ではない。将来より良いデータが手に入れば、この方法を更新すればよいだけだからである。

質問：この方法は、スケーリング則が何桁にもわたって成り立つと仮定しているのではないか。それは無理のある仮定ではないか？

私たちの回答：スケーリング則が何桁にもわたって成り立つと仮定するのは無理があるとは考えない。スケーリング則は、ほぼ現在の形で、何十年も前から予想されていた。たとえば、Hoffmann et al. のデータのスケーリング則は、勾配降下法の収束率の推定とみなすことができ、その収束率がべき乗則の形をとることは、早くもNemirovsky et al. (1983)で導かれていた。べき乗則のスケーリングは、計算量にしてすでに約24桁にわたって観測されており、さらに10桁や20桁にわたって成り立つと予想するのは妥当だと私は思う。¹

質問：新しい科学研究は「分布外」ではないか？ 特定の分布での交差エントロピー損失は、大きな分布全体にわたる平均をとる。しかし実際に私たちが関心を持つのは平均の交差エントロピーではなく、分布の特定の一部、たとえば科学研究に関係する最も質の高い部分での交差エントロピーである。

私たちの回答：本当に関心があるのは、科学研究のような十分に複雑で有用な分布でのモデルの交差エントロピー損失だ、という点には同意する。しかし、スケーリング則、とりわけ転移のスケーリング則についてより良いデータが得られれば、科学研究のように、モデルが直接学習していない特定の高品質なタスクで交差エントロピー損失をどれだけ減らせるかが、より明らかになると考えている。さらに、モデルは高品質なデータセットでファインチューニングでき、直接アプローチを使って、そうしたタスクで高い性能に達するための学習要件を直接推定できる。言語モデルは、非常に一般的な分布で学習しているにもかかわらず、多種多様な特定のスキルを身につけていることがすでに見てとれる。この意味で、転移学習はあらゆるところで起きているようである。

質問：現在のスケーリング則によれば、理想的な予測者が現在の大規模言語モデルと学習分布を確実に見分けるには、ほんの数トークンしか要らない。それなら、これらの結果にはあまり確信を置くべきではないということではないか？

私たちの回答：そのとおりである。現在のスケーリング則によれば、理想的な識別者が現在の大規模言語モデルとその学習分布を確実に見分けるのにほんの数トークンしか要らない。この事実は、これらの結果にあまり確信を置かない十分な理由になる。より具体的には、この事実は、はるかに大きなモデルへと性能を外挿すると、推定の誤差がかなり大きくなりがちであることを意味する。

そのため、特定の結論（たとえば、変革的AIを学習させるには10^35 FLOPが必要だという考え）をあまり信用しすぎないよう勧める。むしろ直接アプローチは、AIの到来時期について何らかの示唆を与えることが期待される理論的な枠組みとみなすのがよいと考える。その有用性は、今後スケーリングについてのデータが集まり、より良い言語モデルが得られ、人間の識別能力に関する実験が行われるにつれて高まるかもしれない。

質問：モデルが人間を正確に模倣するよう学習させられると仮定するのはなぜか？ AGIを作るには何らかの強化学習アルゴリズムを使うのではないか？

私たちの回答：一般に、この方法は、長い系列にわたって信頼性の高い高品質な推論を行うことを学ぶ難しさの上限を与える。AGIが人間の行動の模倣によって開発されると言っているわけではない。ただ、私たちの考えでは、最近の言語モデリングの進展はその説を後押ししている。人間の行動を極めてうまく模倣できることは「AGI」の十分条件になるので、この方法はAGIを作る難しさの妥当な上限を与えるように思われる。とはいえ、より少ない計算量やデータでAGIを作る方法が見つかれば、この上限は高すぎるかもしれないことは認める。

質問：人間の模倣がうまくなったモデルが、人間のように考えられるようになると仮定するのはなぜか？ それは、Russell CroweがJohn Nashの役をうまく演じられるほどゲーム理論に強くなると期待するようなものではないか？

私たちの回答：このたとえは、言語モデルが人間のように書くことを学ぶとき実際に何をしているかについての誤解を招く印象に頼っているように思われる。Russell CroweがJohn Nashのように演じるためにしたこととは違い、言語モデルは人間の人柄を表面的に模倣する方法を学んでいるだけではない。これまでに考案できたほぼすべてのベンチマークが示すとおり、言語モデルは推論を行う能力も徐々に身につけている。たとえばGPT-4は、高校と大学の試験57種からなるMMLUベンチマークで高い得点を挙げた。

このたとえを修正して、Russell Croweが、John Nashの人柄の演技だけでなく、Nashの学術研究に似た数学論文を書く能力でも評価されると考えてみよう。Russell Croweが、念入りに調べてもJohn Nashの論文と非常によく似た論文を書くというタスクで徐々に上達していると分かったなら、Russell Croweが実際にゲーム理論を徐々に学んでいると考えるのはきわめて妥当だろう。根本的には、John Nashの論文とまったく同じように読める論文を書くには、まずゲーム理論を学ぶことが役に立つからである。

レビュー

私たちはNuño Sempereにこの報告書のレビューを依頼した。レビューはこちらで読める。以下は、彼の大局的な見方を述べた部分の抜粋である。

大局的に見て、これは洗練されたアプローチだと思う。私のすさんだ心も少し温まった。たとえばOpen Philanthropyが委託したさまざまな報告書など、これまでの試みがなぜ何らかの形でこれを思いつかなかったのか興味がある。

このレビューにはもちろん批判的な意見も多く含まれており、読者にはぜひ読むことをお勧めする。