オープンモデルはどれだけ遅れているのか？

はじめに

オープンであることは、長らくAI研究の規範であり、分野内の協力を促してきた。しかし、AIの急速な進歩によって、最も高い能力を持つモデルを公開することがもたらしうる結果への懸念が高まっている。加えて、ChatGPTのようなモデルへのアクセスを販売する企業には、モデルを非公開にしておく商業上の動機がある。

産業界のAI研究所は、こうした動きにさまざまな形で対応してきた。Google DeepMindのChinchillaモデルのように、公開されないままのモデルもある。あるいは、GPT-4oのように構造化されたアクセスを採用し、ユーザーがモデルとどうやり取りできるかを管理しているモデルもある。MetaのLlamaモデルのように、利用条件に制限を付けたうえで重みをダウンロード可能にしているモデルもある。

モデル、コード、データセットを公開すれば、イノベーションと外部からの検証が可能になる。しかし公開は取り消せず、モデルの安全対策が回避されれば悪用される危険がある。^1,2 このトレードオフが許容できるものか、あるいは回避できるものかについては、議論が続いている。オープンソースAIの支持者は、オープンソースのコミュニティが生み出すイノベーションやツールを通じて、オープンであることが社会にもモデル開発者にも利益をもたらすと主張してきた。より閉鎖的なAI開発者はすでにオープンソースのコミュニティに競争で負けつつあり、閉鎖的であり続けても無駄だという主張さえある。AIチャットボットの市場は実際に競争が激しい。ChatGPT（クローズドモデルを使用）の月間ユーザーは約3億5,000万人であるのに対し、MetaのAIアシスタント（オープンモデルを使用）は5億人近い。

この議論の材料として、オープンなAIモデルとクローズドなAIモデルの能力を時系列で比較するための、これまでで最も包括的な根拠を示す。2018年以降に公開された数百の注目すべきAIモデルについて、モデルの重みと学習コードがどれだけ利用できるかのデータを体系的に収集した。このデータは現在、私たちの注目すべきAIモデルのデータベースに収録されている。

本レポートでは、「オープン」なAIモデルを、モデルの重みをダウンロードできるもの（制限的なライセンスのものを含む）と定義し、「クローズド」なAIモデルを、公開されていないか、APIやホスティングされたサービス経由でしか問い合わせできないものと定義する。 この分類を使って、オープンなAIモデルとクローズドなAIモデルのベンチマーク成績と学習計算量を時系列で比較し、オープンモデルがどれだけ遅れているかを測る。また、注目すべきAIモデルのうち重みがオープンなものの割合も測り、オープンさを時系列で定量化する。³

結果の要約

ベンチマーク成績では、最良のオープンな大規模言語モデル（LLM）は、最良のクローズドなLLMに5〜22か月遅れてきた。複数のベンチマークでこの差を最近埋めたオープンモデルは、MetaのLlama 3.1 405Bである。MetaのLlamaモデルを除外しても、結果は同様である。

オープンモデルとクローズドモデルの遅れについてさらに根拠を得るため、学習計算量にも目を向ける。計算量は能力の代理指標となり、どのベンチマーク単体よりも汎用的で、確実に測定できる。学習計算量では、最大のオープンモデルは最大のクローズドモデルに約15か月遅れてきた。 GPT-4に対するLlama 3.1 405Bの公開は16か月後で、この遅れと整合する。同時に、Llama 3.1 405Bは学習計算量の差を埋めている。GPT-4よりはるかに大規模なクローズドモデルがまだ現れていないからである。

オープンなLLMがクローズドなLLMより学習計算量を効率的に使っているのか、そうでないのかははっきりしない。 オープンなLLMは、クローズドなLLMと同程度のベンチマーク成績に達した後では、より少ない学習計算量しか使わない傾向がある。しかし、一般に新しいモデルほど効率が高い傾向がある。新しいクローズドモデルも同じくらい効率的かもしれないが、それについてのデータは不足している。学習データの汚染や「リーダーボード向けの詰め込み」も、スコアを押し上げている可能性がある。

MetaのオープンなLlamaモデルの傾向から、最良のオープンモデルとクローズドモデルの遅れは来年には縮まると予想する。 過去の傾向だけを見ると、遅れがどう変わるかについての根拠はまちまちである。しかしMetaは、Llama 3のほぼ10倍の計算量を使い、Llama 4を「来年、業界で最も先進的な［モデル］」にすることを目指している。Llama 4がこの規模に達し、かつオープンモデルであれば、来年には遅れが縮まる可能性が高い。その後に差が縮まるか広がるかは、Metaのような主要な開発者にとって、オープンモデルが成り立つ事業戦略であり続けるかどうかにかかっている。

全体としての結論は、近年、かつて最先端だったAIの能力に、オープンモデルが約1年遅れで到達しているということである。⁴ 最先端に近いオープンモデルがあれば、AIの能力と安全性の研究が進み、有益な応用も可能になる。しかし、オープンモデルは改変しやすく、元の開発者の監督なしに広まりやすい。したがって、能力の高いオープンモデルは、クローズドモデルであれば避けられる害を招くおそれがある。オープンモデルの遅れは、オープンモデルが公開される前に、こうした潜在的な害を評価する猶予期間を与えてくれる。

「オープン」なAIモデルとは何か？

AIのオープンさには多くの側面がある。本研究では、AIモデルがモデルの重み、学習コード、学習データセットの点で利用可能かどうかについてデータを収集した。

学習済みモデルの重みは、AI開発の成果物として最も重要なものだといえるだろう。現代のAIモデルには通常、数十億から数兆のパラメータが含まれる。パラメータとは、学習の過程で調整される数値である。開発者の中には、学習済みモデルのパラメータの値、すなわち「重み」を「オープン」にする者もいる。これは重みがダウンロード可能だということであり、重みを入手した人は誰でも、必要な計算能力さえあれば自分でモデルを動かすことができる。

本レポートの大部分では、特に断らない限り、「オープンモデル」をオープンウェイトモデルの略称として使う。モデルのコードやデータがオープンかどうかは問わない。こうすることで分析が単純になり、また「オープン」なモデルをめぐる公の議論の多くもモデルの重みを中心にしてきたからである。

しかし、学習コード（学習を準備・実行するコード）と学習データのオープンさも重要である。自分で学習を行ってモデルを正確に再現したい人は、学習コード（または学習を再現できるだけの詳細な情報）と、元の（または十分に似た）学習データを入手する必要がある。⁵ 学習コードには、より優れたモデルを作るのに役立ちうる知見も含まれている。学習コードとデータのオープンさの傾向については、付録Gと付録Hでさらに論じる。

オープンウェイトのAIモデルはしばしば「オープンソース」と呼ばれるが、オープンソースAIの定義や、オープンウェイトだけで十分かどうかについては論争がある。「オープンソース」という言葉は、ソースコードが公開され、閲覧・編集・自由な再配布ができる（ほかにも基準がある）オープンソースソフトウェアに由来する。モデルの重みは長い数値の列であり、ソースコードがソフトウェアについてそうであるようには、モデルがどう動くかを見通せるものではない。また、重みを手で書き換えてモデルを改変するのは容易ではない。他方で、オープンウェイトモデルは、元のコードやデータがなくてもファインチューニング（性能を高めるための追加学習。特定の分野向けに行うことが多い）ができるので、第三者が自分の必要に合わせてモデルを改変することは依然として現実的に可能である。⁶

Open Source Initiativeは最近、オープンソースAIの定義を発表した。この定義は、モデルの重みと、学習および推論実行のためのソースコードをオープンに公開し、学習データを再現可能なほど詳しく説明することを求めている。重みだけでモデルが「オープンソース」になるかどうかの議論を避けるため、本レポートでは、重みはダウンロードできるがコードやデータは必ずしもオープンでないモデルを、一般に「オープンウェイト」または単に「オープン」と呼ぶ。

利用可能性の度合い

モデルの重み（あるいはコードやデータ）が「オープン」か「クローズド」かの背後には、利用可能性の連続的な度合いがある。ダウンロードできる重みのモデルには、通常ライセンスが付いている。ライセンスは非常に寛容なものもあれば、特定の用途（有害な行為や、モデルの出力をほかのモデルの学習に使うことなど）を制限するもの、モデルの商用利用を全面的に禁止するものもある。⁷ 一方、「クローズド」なモデルには、まったく公開されていないものもあれば、製品やAPI経由で利用できるものもある。⁸ そこで私たちのデータでは、先行研究に基づき、モデルの利用可能性を6つの区分に分けている。学習コードとデータセットの利用可能性にも同様の区分を使い、やはりライセンスの寛容さで区別している。

モデルの重み、学習コード、データセットにわたる利用可能性の分類の全体は、付録Aを参照。

ベンチマーク成績

本研究の主な目的は、オープンなAIモデルとクローズドなAIモデルの能力の差を測ることである。これを理解する最も直接的な方法はベンチマークである。さまざまな分野でモデルの能力を直接測れるからだ。ベンチマーク成績は、アルゴリズムの効率の向上を測るのにも役立つ。ここでは、知識、推論、数学を試す主要なベンチマークで、オープンな大規模言語モデル（LLM）とクローズドなLLMの成績を調べる。信頼できるベンチマークを選び、過学習の疑いがあるモデルを除外するための手順を踏んだ。詳細は付録Dを参照。

オープンモデルはベンチマークで5〜22か月遅れてきた

まず、主要な言語ベンチマークで最も成績の高いオープンモデルとクローズドモデルを時系列で比較する。オープンモデルとクローズドモデルの遅れを測るため、各時点で最高水準（SOTA）のクローズドモデルを特定し、そのクローズドモデルの正答率に初めて並ぶか上回るオープンモデルが現れるまでにどれだけかかったかを求める。⁹ 図1は、選んだベンチマークで最も成績の高いモデルを時系列で示し、オープンモデルとクローズドモデルの遅れをインタラクティブに表示する。

MMLUベンチマークで最も成績の高いオープンモデルとクローズドモデルBBHベンチマークで最も成績の高いオープンモデルとクローズドモデルGPQAベンチマークで最も成績の高いオープンモデルとクローズドモデルGSM1kベンチマークで最も成績の高いオープンモデルとクローズドモデル

図1：ベンチマークで最も成績の高いオープンモデルとクローズドモデルの推移。データ点にカーソルを合わせると、オープンモデルとクローズドモデルの遅れが表示される。

図2は、4つのベンチマークで見つかった遅れをまとめたもので、オープンモデルが全般にクローズドモデルに遅れてきたことを示している。¹⁰ 最大の遅れはMMLUでの25か月で、GPT-3（text-davinci-001）の公開からBLOOM-176Bの公開までである。最小の遅れはGPQAでの5か月で、Claude 3 OpusとLlama 3.1 405Bの間である。これらの結果を、13個の遅れの値全体の90%信頼区間（CI）でまとめると、5〜22か月となる。¹¹

図2：主要な言語ベンチマークでのオープンモデルの遅れ。

クローズドモデルがリードしているのは、正答率に基づくベンチマークだけではなく、ユーザーの選好の順位でも同じである。LMSys Chatbot ArenaやSEAL Codingのように、モデル間の人間の選好に基づくリーダーボードでは、OpenAIのo1やGoogle DeepMindのGemini 1.5 ProといったクローズドモデルがLlama 3.1 405BやDeepSeek V2.5といったオープンモデルより上位にある。¹²

新しいオープンなLLMは、より少ない計算量で古いクローズドなLLMに並ぶ

ここまで、絶対的な性能ではクローズドモデルがオープンモデルより先行していることを見た。しかし、学習計算量の効率、すなわち学習に費やした計算量に対してどれだけの性能が得られるかも重要な指標である。学習計算量の異なる水準でモデルの性能を比べることで、オープンモデルとクローズドモデルの効率に違いがあるかを調べられる。

図3でMMLUでの性能と計算量の関係を見ると、いくつかのオープンモデルが、クローズドモデルよりかなり少ない学習計算量で、同程度のMMLUスコアを達成していることが分かる。¹³ たとえばDeepSeek V2（オープン）は、PaLM 2（クローズド）と同程度の性能を、約7分の1の学習計算量で達成している。より大きなモデルから蒸留されたGoogle DeepMindのGemma 2 9B（オープン）も、PaLM 540B（クローズド）に対して同様の向上を示している。

図3：さまざまなモデルのMMLU正答率と学習計算量（対数目盛）。モデルは重みの利用可能性で色分けしている。DeepSeek V2やGemma 2 9Bのような新しいオープンモデルは、PaLM 540BやPaLM 2のような古いクローズドモデルと同程度の性能を、より少ない計算量で達成する傾向がある。

しかし、性能のばらつきは、公開日が新しいことによっても、重みがオープンであることと同じくらいよく説明できる。計算量と公開日による回帰は、計算量とモデルがオープンかクローズドかによる回帰と同程度にデータによく当てはまる。¹⁴ また、効率の高さを売りにしているGPT-4o miniなど、一部の新しいクローズドモデルについては技術的な詳細が不足しているため、それらのクローズドモデルが学習計算量の軸のどこに位置するかは不確かである。

もちろん、少ない計算量で性能を出せる根本的な要因は、公開日ではなくより優れたアルゴリズムである。しかし、上記のベンチマークで見られる向上の一部は、汎化しないかもしれない。たとえば、一部のモデルはほかのモデルより「リーダーボード向けの詰め込み」をしている可能性が高い。つまり、データを直接汚染することなく、評価タスクに関する知識を事前学習で使っているのである。最近のある論文は、多くの新しいモデルがこのような方法で学習されており、その度合いが古いモデルより大きいという根拠を見出している。¹⁵ 最善の意図があっても、報告された評価結果があからさまな汚染の影響を受けている可能性もある。最後に、あるアルゴリズムが少ない計算量で能力を頑健に高めるとしても、それが計算量の新たな最先端でより良い性能を意味するかどうかは明らかでない。これは今後の研究の重要なテーマである。

学習計算量

前節では、オープンモデルとクローズドモデルの学習計算量の効率を見た。学習計算量そのものを、これらのモデルを比較する指標として見ることもできる。AI開発の重要な資源である学習計算量は、これまで能力をかなりよく予測する指標だった。計算量は、ベンチマークより測定しやすく、ごまかしにくい。こうした理由から、ベンチマーク成績の分析を補うために学習計算量を使う。これには独自の限界もある。学習計算量の推定値の一部は推測にとどまり、また推論実行のスケーリングや、スケーリング則が成り立たなくなる可能性のために、学習計算量が将来も同じように能力を予測できるとは限らない。

最も能力の高いオープンモデルとクローズドモデルに焦点を当てるため、各区分で学習計算量の最先端付近にあるモデルを選ぶ。そのために、公開時点で最大の学習計算量を持っていたモデルに絞り込み、これを「トップ1」モデルと呼ぶ。¹⁶ ベンチマークの結果とは異なり、ここでは個々のAIモデルの間ではなく、2本の傾向線の間の遅れを測る。学習計算量のデータはベンチマークのデータよりサンプル数が多く、傾向も規則的だからである。

オープンモデルのスケーリングは約15か月遅れている

図4に示す学習計算量の傾向に基づくと、現在、最大のオープンモデルは最大のクローズドモデルに約15か月遅れている。この推定値の90%信頼区間（CI）は6〜22か月である。このCIは、ベンチマーク成績で見た遅れのCIである5〜22か月と重なっている。

図4：トップ1のオープンモデルとトップ1のクローズドモデルの学習計算量の推移。「トップ1」とは、公開時点でその区分の中で学習計算量が最も大きかったモデルを指す。図中の「遅れ」は、2024年7月時点で、オープンモデルの傾向線がクローズドモデルの傾向線と同じ計算量に達するまでにかかった時間である。

学習計算量の遅れの推定値は、データの絞り込み方にかなり左右されにくいことが分かった。¹⁷ この推定値は、オープンモデルがGPT-4の規模に達するまでにどれだけ長くかかったかとも整合している。MetaのLlama 3.1 405Bは、元のGPT-4モデルの学習計算量を超えた最初のオープンモデルである可能性が高く、それはGPT-4の公開から16か月後だった。^18,19 さらに、GPT-4よりはるかに大規模なクローズドモデルはまだ現れていない。つまり、オープンモデルとクローズドモデルの時間の遅れは大きかったが、現在の計算量の差はごくわずかである。どちらも年4.6倍という同程度の伸び率であることから、学習計算量の遅れは過去5年間かなり安定していたことが示唆される。

オープンなAIモデルは追いつくのか、さらに引き離されるのか？

ベンチマーク成績と学習計算量の傾向を調べた結果、最良のオープンモデルはどの指標でもクローズドモデルに遅れていることが分かった。遅れの大きさはまちまちだが、中心は1年程度である。²⁰ 決定的に重要なのは、この遅れが今後どう変わるかという問いである。遅れが広がれば、フロンティアAIを理解し統治するうえで、オープンモデルの重要性はおそらく大きく下がる。逆に、遅れが縮まれば、最良のオープンモデルはまもなく最先端に並ぶことになる。ここでは、この問いを考えるために傾向をもう一度見直す。

まず、GPQAベンチマークでのオープンモデルの遅れは約5か月で、MMLUでの16〜25か月の遅れより短い（図2を参照）。GPQAはMMLUの3年後に公開された。MMLU、GSM1k、BBHでも、より最近に達成された高い正答率の水準ほど遅れは短い。このことは、過去1年でオープンモデルの遅れが縮まったことを弱いながら示唆している。

学習計算量では、トップ1のオープンモデルは、過去5年間、年4.6倍とトップ1のクローズドモデルと同程度のペースでスケーリングしてきた。このことは、オープンモデルの遅れが縮まるのではなく安定したままであることを示唆している。しかし、より広いモデル群であるトップ10を見ると、オープンモデルは年3.6倍でスケーリングしており、年5.0倍のクローズドモデルより遅い（図5を参照）。²¹ つまり、このより広いオープンモデル群では、遅れが拡大していると考えられる。これらのオープンモデルの約45%はGoogle、OpenAI、Anthropic、Metaのいずれとも関係しないのに対し、トップ10のクローズドモデルではその割合は32%である。

図5：トップ10のオープンモデルとクローズドモデルの学習計算量の推移。図中の「遅れ」は、2024年7月時点で、オープンモデルの傾向線がクローズドモデルの傾向線と同じ計算量に達するまでにかかった時間である。図4のトップ1モデルと比べると、より広いAIエコシステムの傾向が分かる。オープンモデルのスケーリングは、クローズドモデルよりかなり遅い。

ここまでのところ、オープンモデルがどこへ向かうのかははっきりしない。もう一つの根拠は予測力、つまり当てはめた傾向が、取り分けておいたデータをどれだけよく予測できるかである。オープンとクローズドの両方のAIモデルに単一の伸び率パラメータを当てはめると、最近の学習計算量の値の予測が改善することが分かる（付録Gを参照）。これは、これまで遅れが安定していたことの根拠であり、それは今後も続く可能性がある。

MetaがオープンウェイトのAIを支持していることは、オープンモデルが遅れずについていく、あるいは追いつくという見方を強める。Metaはほかのどの組織よりも多くのオープンモデルを公開しており、Llama 3.1 405Bの公開によってAIの最先端に近い位置にある。Metaは、来年Llama 4でLlama 3の「ほぼ10倍」の計算量を使う計画を発表している（405Bモデルの10倍の計算量を意味する可能性が非常に高い）。Llama 4の重みがオープンで、2025年7月に公開されると仮定すると、^22,23 Llama 4はクローズドモデルの傾向線にちょうど乗り、学習計算量の遅れはなくなる。これは、Llamaモデルの過去の傾向とも整合する（図6を参照）。実際には、遅れは新しいクローズドモデルにも左右されるが、これは来年は遅れが短くなることを示す根拠である。

図6：トップ1のクローズドモデルの学習計算量の傾向と、トップのLlamaモデルの傾向の比較。例示のため、Llama 4が2025年7月にオープンウェイトで公開され、Llama 3.1 405Bの10倍の計算量を使うという仮定のケースも示している（MetaのCEO、Mark Zuckerbergの発言に基づく）。

これらの根拠を比べると、最良のオープンモデルとクローズドモデルの遅れは1年後には短くなっている可能性が高いが、それはMetaの判断次第かもしれない。 一方、より小規模なオープンモデルの開発者は、学習計算量の最先端からさらに引き離されると予想する。

長期的には、オープンなフロンティアモデルの経済的価値が大きな不確実性となる。 これは結局のところ、AI開発者にとって、モデルへのアクセスを直接販売するほうが利益になるのか、それともモデルとほかの事業との相乗効果から利益を得るほうが利益になるのかにかかっている。²⁴ オープンなフロンティアモデルが、共有されたイノベーションやユーザーの採用によって開発者に十分な利益をもたらすなら、研究開発費は正当化できるかもしれない。しかし、学習費用が数十億ドル以上に膨らめば、これは高いハードルになる。²⁵ 一方で、クローズドモデルの開発者が非公開で進めるイノベーションは、オープンモデルの開発者に対する優位を広げ、クローズドモデルの開発者がさらに先へ引き離すことにつながるかもしれない。²⁶

2019〜2023年に公開された注目すべきAIモデルの大半はオープンだった

ここでは、オープンなフロンティアモデルとクローズドなフロンティアモデルのスケーリングと性能の比較から一歩進んで、AI分野のモデル全体のオープンさの傾向を分析する。また、先に論じた利用可能性の分類を使い、モデルを単に「オープン」か「クローズド」かに分けるだけでなく、公開戦略がどう変わってきたかをより詳しく調べる。

図7は、私たちのデータにある注目すべきモデルについて、2018年以降の公開年ごとに、モデルの利用可能性の内訳を示したものである。^27,28 2019年から2023年までは、これらのモデルの過半数がオープンであり、2023年に公開されたモデルでは66%にも達した。²⁹ 2024年はこれまでのところそうなっていないが、現在の2024年のデータでは注目すべきオープンモデルが実際より少なく反映されている可能性が高い。³⁰ 累計では、2018年時点で公開された注目すべきモデルのうちオープンモデルは20%だったが、現在までに公開された注目すべきモデルでは約50%を占める。

計算量の最先端付近にあるモデルの大多数がクローズドモデルであることを考えると、近年オープンモデルが多数を占めていることは意外かもしれない。³¹ さらに、主要な研究所の中には時とともにオープンさから離れたところもあり、OpenAIはその顕著な例である。2019年のOpenAIのGPT-2は重みとコードがオープンだったが、それは数か月の公開延期を経た後のことで、OpenAIはその間に、GPT-2が有害な形で悪用されうるかを調べていた。GPT-3以降、OpenAIは主力の言語モデルの重み、学習コード、データを公開していない。

図7：利用可能性の区分ごとに見た、各年に公開された注目すべきAIモデルの割合。青い部分はオープンウェイト、赤い部分はクローズドウェイトで、色の濃淡はより細かい利用可能性の区分を表す。

注目すべきオープンモデルが多い理由の一つは、オープンモデルの総数が大きく増えたことである。2016年に設立されたモデルのホスティングプラットフォームHuggingFaceは、現在100万を超えるオープンモデルをホストしている。³² これは近年オープンモデルのエコシステムが繁栄してきたことを反映しており、また、公開されるモデル全般の大半がオープンであることも意味する。そのため、私たちの基準で注目すべきとされるモデルでも、オープンなものの割合が比較的高くなりやすい。

オープンモデルの数が増えたもう一つの要因は、学術プロジェクトの間でオープンウェイトが一般的になったことである。たとえば、2018年に公開され、学術機関が開発または共同開発した注目すべきモデルのうち、重みがオープンだったのは約20%にすぎなかった。しかし、2022年と2023年にはこうしたモデルの80%超がオープンだった。これは、AIの商業化が進む中でも、オープンさを求める影響力のある動きがあったためかもしれない。たとえば2018年のScience誌の記事は、AIが再現性の危機に直面していると主張した。

モデルの利用可能性をより細かい区分に分けると、まったく公開されていないモデルと、最も寛容なライセンスのオープンモデルとの間の中間領域が拡大していることが分かる。オープンモデルの中では、モデルの重みについてより制限的なライセンスへの大きな移行が起きている。2018年には、非商用または利用制限付きのライセンスを持つオープンウェイトモデルは、注目すべきモデルの2%にすぎなかった。2023年には、この割合は40%に達した。これは、商用のオープンウェイトモデルの増加を反映しているのかもしれない。そうしたモデルには、競合他社が得る利益を制限するライセンス上の制約が付いていることがある。³³ 同時に、クローズドモデルのうち、重みを公開せずに製品やAPI経由で利用できるものの割合も大きくなっており、これもAIの商業化の進展を反映している。全体として、何らかの程度で利用可能な（つまり非公開ではない）注目すべきモデルの割合は大幅に増えた。

付録Gでは学習コードの利用可能性を調べ、それがモデルの利用可能性と相関しているものの、2018年以降それほど急激には増えていないことを示す。

関連研究

最近、AIのオープンさを理解し追跡するためのいくつかの枠組みが開発されている。その中には、モデルの重み、コード、データなど複数の次元にわたってオープンさを連続的な度合いとして捉えるものもある。これらの次元にはそれぞれ複数の要素がありうる。たとえば「コード」には、事前学習のコードと推論実行のコードの両方が含まれうる。私たちの枠組みに最も近い枠組みは比較的単純で、「完全にクローズド」から「完全にオープン」までの6つの公開戦略に分類し、それらの戦略の推移を調べている。こうした枠組みなら数百のAIモデルにラベルを付けることが現実的になり、傾向を信頼性高く測ることができる。

関連する研究テーマとして、AIの能力の拡散とその影響がある。このテーマの先行研究には、GPT-2やGPT-3といったモデルの公開戦略の事例研究や、資源の乏しい主体によるこれらのモデルの再現の試みの事例研究がある。特に後者の研究は、GPT-3がオープンモデル、すなわちMetaのOPT-175Bによって（おおまかに）再現されるまでに23か月かかったことを明らかにした。³⁴ 2022年のState of AI reportによれば、DALL-Eのオープンな派生版が公開されるまでに15か月、AlphaFoldでは35か月かかった。ただし、オープンな派生版が同程度の性能に達しているとは限らない。³⁵ ほかにも、オープンな基盤モデルの利益とリスクについての見方を示したり、その限界的なリスクを評価したり、リスクを減らしつつオープンソースの目的を達成する代替的な方法を示したりする研究がある。

本研究は、AIのオープンさと拡散というこれら2つの研究領域の間の溝を埋めるものである。私たちは数百のAIモデルの利用可能性を分類した。これはオープンさを分類した先行研究よりはるかに多い。さらに、オープンモデルとクローズドモデルの遅れを測り、利用可能性の割合を時系列で測ることで、AIの拡散についての理解を前進させた。

考察

私たちの結果は、AI開発と政策の将来にいくつかの示唆を与える。オープンモデルはクローズドモデルに約1年遅れてきたが、現在、最良のオープンモデルは最先端に近い。この状況が続けば、最も先進的な能力を持つモデルに、より自由にアクセスできるようになる。最大手のAI開発者以外の組織も、最先端に近いモデルを自分の必要に合わせてファインチューニングし、独自版として展開できるようになる。これはイノベーション、AI安全性の研究、AIの有益な応用を後押ししうる。しかし同時に、高度なAIが持ちうる有害な能力も、より入手しやすくなるかもしれない。

オープンモデルとクローズドモデルの遅れは、最先端の能力がオープンモデルで利用可能になる前に、政策立案者やAI研究所がそれを評価する猶予期間を与えてくれる。私たちの分析は約1年の遅れを示しているが、推定値の幅は5〜22か月である。過去5年間、この遅れははっきりと増えても減ってもいない。しかし、来年の最良のオープンモデル（おそらくLlama 4）は、現在の最良のオープンモデルよりさらに最先端に近づくと予想する。1年未満の遅れは、立法の一般的な時間感覚からすれば短く、最先端の能力を先回りして評価する必要性を浮き彫りにしている。

本研究のいくつかの部分は、さらなる研究の動機となる。第一に、私たちのベンチマーク分析では、アルゴリズムやデータの革新の効果を、ベンチマークを狙った学習手順やデータ汚染といったほかの要因と切り分けていない。アブレーション研究はこれらの要因を切り分ける助けになるだろう。第二に、オープンなAIモデルとクローズドなAIモデルの経済性を分析すれば、将来の公開戦略を予測しやすくなる。その一側面は、ユーザーによるモデルの採用である。たとえば、ユーザーがクローズドモデルを好むなら、オープンモデルの戦略は衰退するかもしれない。第三に、考えられる規制がオープンなAIエコシステムに与える影響を分析すれば、AI政策の材料になる。たとえば、オープンモデルは監督なしに改変・配布されうるため、オープンモデルの開発者は、モデルによる害について自らに責任を負わせる規制に従うのが難しくなるかもしれない。

AIの公開戦略は変化し続けており、議論を呼んでいる。本研究は、こうした議論に役立つ貴重な知見を提供する。私たちはオープンなAIモデルとクローズドなAIモデルの現在の差を明らかにし、最良のオープンモデルが最良のクローズドモデルに約1年遅れてきたことを見出した。この遅れは比較的短く、Metaの公開判断もあって、来年にはさらに短くなる可能性が高い。これらの知見は、オープンモデルが学習計算量と能力の最先端に並ぶという現実的な可能性に、政策立案者やAI開発者が備える助けになるだろう。

Markus Anderljung、Tamay Besiroglu、Stella Biderman、Ben Bucknall、Jean-Stanislas Denain、Alexander Erben、Ege Erdil、Kyle Miller、Elizabeth Seger、Jaime Sevilla、Caleb Withersに感謝する。

付録

A. 利用可能性の分類

A.1. モデルの利用可能性

表A1は、私たちのAIモデルのデータベースで使っているモデルの利用可能性の区分の定義を示したものである。これらの区分の中には互いに排他的でないものもある。たとえば、あるモデルがダウンロード可能であると同時にAPIや製品でも利用できる場合がある。そのため、最も寛容なものから順に並べた表の順序に従ってモデルを分類する。つまり、表を上から下へ読んでいき、そのモデルに当てはまる最初の区分を選ぶ。

モデルの利用可能性	定義	例
オープンウェイト（制限なし）	重み＋寛容なライセンス 非商用・商用の利用と派生物の作成を認める。ライセンス上の義務は、あったとしても最小限である（たとえば帰属表示の要求や、「コピーレフト」ライセンス）。	GPT-NeoX-20B
オープンウェイト（利用制限付き）	重み＋利用制限付きライセンス 一部の商用用途には使えるが、ユーザー数やモデルを使ってできることなどに制限がある。	LLaMA 2
オープンウェイト（非商用）	重み＋非商用ライセンス 商用利用を認めない、より制限的なライセンスを持つ。ライセンスがない、またはライセンスが明確でない公開もここに含める。これらは商用目的に使うにはリスクがあるが、利用はできる。	OPT-175B
APIアクセス	API経由でアクセスできるが、重みは入手できない。APIアクセスには承認が必要な場合がある。	GPT-4o
ホスティングによるアクセス（APIなし）	製品やデモ経由でアクセスできるが、重みは入手できない。	Inflection 2.5（Pi経由）
非公開	一般の人がモデルを使う方法がない。	Chinchilla

表A1：私たちのAIモデルのデータベースで使っているモデルの利用可能性の区分。

A.2. 学習コードの利用可能性

学習コードの利用可能性は、AIモデルの学習に使われたコードに一般の人がどうアクセスし、どう使えるかを表す。学習コードが一般にダウンロード可能、つまり「オープン」であれば、モデルの学習コードに「オープンソース」「オープン（利用制限付き）」「オープン（非商用）」のいずれかのラベルを付ける。「オープンソース」はオープンソースコードの標準的な定義を満たすもので、ほかの2つの区分はモデルの利用可能性の項目の対応する区分と同様である（付録A.1を参照）。公開されたコードがない場合や、公開されたコードがモデルを一から学習するものでない場合は、ラベルは「非公開」、つまり「クローズド」とする。コードがモデルの学習用の正確な構成になっておらず、ドキュメントを使ってそれを再現する方法も明らかでない場合も、ラベルは「非公開」とする。

A.3. データセットの利用可能性

データセットの利用可能性は、AIモデルとは独立に分類する。AIモデルは複数のデータセットを使って学習されることがあり、それぞれ利用可能性が異なる。各データセットには学習コードの利用可能性の項目と同様の区分でラベルを付けるが、ここでの「非公開」は単にデータセットが公開されていないことを意味する。

B. データの範囲

注目すべきAIモデルのデータベースのモデルについて、2018年初め以降のものを網羅的にラベル付けした。2018年より前に公開されたモデルについては利用可能性のデータを体系的に収集していないため、それ以前のデータはまばらである。2018年という選択はやや恣意的だが、2017年半ばにTransformerというモデルアーキテクチャが登場した少し後に当たる。Transformerは、2018年のGPT-1とBERTに始まる大規模言語モデルの台頭に決定的な役割を果たした。2024年9月30日より後に公開されたモデルは対象外とした。

学習計算量とベンチマーク成績を分析する際には、知識蒸留、追加のファインチューニング、強化学習によって、すでに公開された別のモデルから派生したモデルを除外する。その一例が、LLaMA-1 13Bをファインチューニングして学習したVicuna-13Bである。学習計算量については、これによって事前学習済みモデルの計算量を実質的に二重に数えることを避けられる。ベンチマークについては、ファインチューニングは比較的少ない追加計算量でベンチマーク成績に大きな影響を与えうるため、これらのモデルを除外すれば分析が単純になり、モデル間のより公平な比較が可能になる。

元のモデルとは別にファインチューニングされたモデルは除外しているが、私たちが含めているモデル（オープンとクローズドの両方）の中には、Llama 3.1 405Bのように、公開前にすでにファインチューニングを経ているものもいくつかある。これは妥当なトレードオフである。こうしたモデルは重要な節目となることが多く、また（一つのベンチマークのための学習ではなく）比較的幅広いファインチューニング用データを使っていることが多いからである。

オープンさの割合を分析する際には、モデルの重み、コード、データセットを公開するという個々の判断のすべてに関心がある。そのため、計算量とベンチマークの分析とは異なり、オープンさの分析ではすべての注目すべきモデルを含める。

C. 計算量の回帰分析

C.1. 回帰モデルの選択

AIモデルの学習計算量の推移に、ブートストラップによる対数線形回帰を適用した。図4に示したモデルは、オープンモデルとクローズドモデルで別々の傾きと切片を使う。傾きと切片のパラメータの一方または両方をオープンモデルとクローズドモデルで共有する、別のモデル設定も試した。

表A2に示すとおり、傾き共通モデルのBICと交差検証のMSEはそれぞれ約19と0.11で、傾き別モデルの22と0.12と同程度である。傾き共通モデルの遅れは16か月（90% CI：12〜20）で、傾き別モデルの15か月（90% CI：6〜22）と同程度である。これらの当てはめはどちらも、単一の指数関数（つまり傾きも切片も共通）を使うよりよい。伸び率が変わる可能性を考慮した、折れ曲がりのある指数関数モデルも試した。しかし、これらのモデルの当てはまりは単純な指数関数モデルより悪かった。

モデル	BIC	BICの90% CI	K分割の平均MSE	MSEの90% CI	遅れ（月）	遅れの90% CI
傾きと切片が別	22	[4, 26]	0.12	[0.05, 0.22]	15	[6, 22]
傾きが共通	19	[5, 23]	0.11	[0.06, 0.14]	16	[12, 20]
傾きと切片が共通	36	[23, 43]	0.29	[0.15, 0.38]	0	[0, 0]

表A2：k分割交差検証（k = 10）によるブートストラップ回帰の結果。遅れは、オープンモデルの傾向線の最新の値と、クローズドモデルの傾向線上でその値に等しくなる点との時間差として計算している。

C.2. オープンモデルとクローズドモデルの伸びの違い

本研究の重要な問いの一つは、オープンモデルが将来クローズドモデルに追いつくのか、それともさらに引き離されるのかである。これについての根拠の一つは、オープンモデルとクローズドモデルの計算量の過去の伸びである。一方の区分のモデルの伸びが大幅に速ければ、2つのグループは収束するか乖離するかのどちらかだと示唆される。

そこで、オープンモデルとクローズドモデルの学習計算量の回帰で、傾きに有意な差があるかを検定する。トップ1モデルでは、t検定に基づくと傾きに有意な差はない（p=0.90）。しかし、ほかのモデル群では軌道が異なる。たとえば、2018年以降のトップ10モデル（p<0.01）、2021年以降のトップ10モデル（p=0.04）、トップ3モデル（p=0.02）では、オープンモデルの傾きのほうがわずかに緩やかである。この3つのケースのいずれでも、傾きのブートストラップ分布の重なりは5%未満である。傾きが同程度という点でトップ1モデルは例外的だが、最も関心が高いのはトップ1モデルだと考えるため、主な結果にはそれを用いる。

D. モデル評価の選択と精査

信頼できるベンチマークを選び、過学習の具体的な根拠が見られたモデルを分析から除外するために、いくつかの手順を踏んだ。

知識を試すMMLUと推論を試すBBHを含めたのは、これらが歴史的に最もよく評価に使われてきたベンチマークに属し、扱えるデータが豊富だからである。しかし、これらのベンチマークは、よく使われる学習データセットに混入している（一字一句同じではないにせよ、少なくとも非常に似たデータで）という根拠がある。³⁶ 信頼性の低いかもしれない結果に引きずられないよう、より信頼できる（ただしデータは少ない）ベンチマークで分析を補う。GSM1k（小学校レベルの算数の問題）とGPQA（博士課程レベルの科学の問題）である。

GSM1kを含めたのは、すでに多くの評価結果が報告されている既存のベンチマークGSM8kの、新しい非公開版だからである。SEAL Mathのリーダーボードには、元の論文の結果に加えて、GSM1kの結果が掲載されている。モデルがSEAL Mathで評価されていれば、元の論文で評価されているかどうかにかかわらず、その結果を使う。一部のモデルは、「冗長な応答」が減点されないため、SEAL Mathの評価ではるかに良い成績を出す。SEAL Mathの評価結果を除外すると、GSM1kの結果から9か月と6か月の遅れが除かれ、10か月の遅れだけが残る。

GSM1k以外のベンチマークについては、Mixtral 8x22Bのように、GSM8kと比べてGSM1kで大幅に成績が悪かったモデルを除外する。GSM8kに過学習しているモデルは、ほかのベンチマークにも過学習していることの弱い根拠になると考える。

さらなる確認として、GPQAとMMLUの成績を比較する。GPQAは2023年11月に、MMLUは2020年9月に公開された。そのため現時点では、モデルがMMLUと比べてGPQAに汚染されていたり、GPQA向けに最適化されていたりする可能性は低い。これはMMLUへの過学習の弱い根拠にすぎないが、念のため、GPQAよりMMLUで相対的に成績が良かったモデルを除外する。追加で除外したモデルは、Yi-34B、gpt-4-0613、gpt-4-0125-preview、Reka Core、Qwen-2 72Bである。ただし、ベンチマークの遅れの結果は、これらのモデルの除外による影響を受けない。GPQAの結果を分析する際には、gpt-4-0613はGPQAベンチマークより前に公開されたため、引き続き含める。

MMLUとBBHの成績には、文献で報告された結果を使う。これらの結果は、few-shotプロンプトで思考の連鎖（chain-of-thought）なしという条件でそろえることを目指したが、一部のモデルについてはこれが不明か、そうした結果がない。GPQAについては、Diamondセットで、思考の連鎖ありのzero-shotプロンプトによる独自の評価を使う。GPT-4のように複数のバージョンがあるモデルについては、既知のバージョンを分けて扱う。各バージョンは、そのベンチマークで最先端にあった場合に分析に含める。

E. ベンチマーク成績と学習計算量

E.1. モデルの選択

MMLUとBBHの成績について、さまざまな回帰モデルの結果をそれぞれ表A3と表A4に示す。これらの結果は、モデルの公開日に当てはめることが、モデルのオープン／クローズドの区分に当てはめることと同程度（あるいはそれ以上）に有効であることを示している。

回帰変数	BIC	K分割の平均MSE	R²
計算量	-7 [-26, 9]	0.047 [0.031, 0.064]	0.80 [0.72, 0.87]
計算量、日付	-29 [-48, -12]	0.029 [0.019, 0.040]	0.88 [0.84, 0.93]
計算量、オープン／クローズド	-9 [-32, 12]	0.043 [0.025, 0.065]	0.83 [0.75, 0.91]
計算量、日付、オープン／クローズド	-27 [-48, -9]	0.032 [0.017, 0.048]	0.90 [0.86, 0.94]

表A3：MMLUの成績を予測するさまざまな回帰モデルの結果。BICはベイズ情報量規準である。K分割の平均MSEは、10分割交差検証による平均二乗誤差の平均である。BICとMSEは低いほどよい。K分割の平均MSEは、k分割交差検証（k=10）による平均MSEを表す。各セルはブートストラップによる平均値で、角括弧内は90% CIである。

回帰変数	BIC	K分割の平均MSE	R²
計算量	31 [10, 46]	0.122 [0.069, 0.167]	0.40 [0.22, 0.57]
計算量、日付	15 [-3, 29]	0.081 [0.049, 0.109]	0.62 [0.50, 0.74]
計算量、オープン／クローズド	27 [7, 43]	0.102 [0.057, 0.140]	0.54 [0.35, 0.73]
計算量、日付、オープン／クローズド	16 [-4, 32]	0.075 [0.042, 0.107]	0.70 [0.56, 0.83]

表A4：表A3と同様だが、MMLUではなくBBHについての結果。

図A1は、表A3に挙げた「計算量」と「計算量、日付」によるMMLUのモデルの当てはめを示している。

図A1：MMLUの成績の予測（誤答率の負の対数で測定）。計算量と公開日で回帰すると、計算量だけで回帰するより多くの分散を説明できることが、残差の小ささから分かる。BICも低く、このことがデータによって支持されていることを示唆している。

E.2. すべてのベンチマークでのベンチマーク成績と学習計算量

MMLUBBHGPQAGSM1k

図A2：さまざまな計算量の規模でのオープンモデルとクローズドモデルの、MMLU、GPQA、GSM1k、BBHでの成績。最も成績の高いクローズドモデルの一部は、計算量を推定するのに十分な情報がないため含まれていない点に注意。

F. 回帰モデルのバックテスト

学習計算量の回帰モデルの予測力を評価するため、バックテストを行う。図A3はバックテストの一例で、学習用データは2023年1月1日より前、テスト用データはそれ以降である。この例では「傾き共通」の回帰モデルを使っている。このモデルは、オープンモデルとクローズドモデルの両方に対して単一の最適な傾きパラメータを求める（ただしy切片は別々）。各バックテストで、テスト用データに対する予測の二乗平均平方根誤差を計算する。この評価を、各AIモデルの公開日を学習・テストの分割日として、データの中ほどから最新のモデルまで繰り返す。

図A3：学習・テストの分割日を2023年1月1日とし、回帰モデルでオープンモデルとクローズドモデルの傾きを等しく固定したバックテストの例。

図A4は、学習・テストの分割日ごとに得られたテストのRMSEの値を示している。ほとんどの分割日（2022年4月〜2023年12月）では、傾き共通の回帰モデルのテスト誤差は、既定の「傾き別」モデルと同程度である。2023年12月以降は両モデルとも誤差が増え、Llama 3.1 405Bの公開日にピークに達する。これは、Llama 3.1 405Bのような2024年の一部のモデルが傾向から外れており、そのため予測しにくいという直観と一致する。ただし、この期間には傾き共通モデルのほうが傾き別モデルよりわずかに誤差が小さく、この変化をよりよく予測できていることを意味する。

図A4：学習・テストの分割日ごとの、各回帰モデルのテスト用データに対する二乗平均平方根誤差（RMSE）。「傾き共通」モデルは、オープンモデルとクローズドモデルの両方に対して単一の最適な傾きパラメータを求める（ただしy切片のパラメータは別々）。「傾き別」モデルは既定のモデルで、区分ごとに最もよく当てはまる傾きと切片を求める。誤差の単位はlog10(FLOP)で、たとえば0.5はFLOPで約3倍の相対誤差に相当する。

G. モデルの利用可能性は学習コードの利用可能性と相関している

図A5に示すとおり、注目すべきモデルの間では、重みがオープンであることと学習コードがオープンであることにかなりの相関がある。クローズドウェイトモデルの大半は学習コードもクローズドであり、オープンウェイトモデルの大半は学習コードもオープンである。逆向きにも同じことが言える。コードがクローズドなモデルの大半は重みもクローズドであり、コードがオープンなモデルの大半は重みもオープンである。全体として、67%のモデルは、重みとコードがともにオープンであるか、重みとコードがともにクローズドであるかのどちらかである。

図A5：モデルと学習コードの利用可能性の組み合わせごとのAIモデルの数

図A6は、データセット内の注目すべきモデルのうち、重みのオープン／クローズドと学習コードのオープン／クローズドの4通りの組み合わせそれぞれに当たるモデルの割合を、公開年ごとに示している。

オープンウェイトモデルの中では、学習コードがクローズドなものが時とともに一般的になっている。直観的には、これは商用のオープンウェイトモデルの増加と整合しており、私たちのデータも、商用の開発者が実際にこの傾向に寄与していることを示唆している。³⁷ 開発者は、モデルの重みは公開しつつ学習方法は自社のものとして保持することを選ぶかもしれない。そうすれば、事後学習の手法についてはほかの開発者の革新から学びつつ、ベースモデルの学習についての独自の手法は手元に残せるからである。³⁸ 一方、単に研究を共有したいだけの非商用の主体には、学習コードと重みの両方を公開するもっと単純な理由がある。

図A6：モデルと学習コードの利用可能性の組み合わせごとの、注目すべきモデルの割合。

もう一つの目立つ傾向は、かつてはオープンなコードがかなり一般的だったことである。2018年と2019年には、実はオープンなコードのほうがオープンな重みより一般的だった。しかし、コードはオープンだが重みはクローズドなモデルの割合は縮小してきた。これはおそらく、以前は学習の計算コストが低かったため、研究プロジェクトにとって重みを共有することがそれほど重要でなかったからだろう。

H. 最近の主要なLLMでは、学習データが完全にオープンなものは珍しい

データセットの利用可能性を分類する枠組みは作ったものの、機械学習モデルのデータセットの利用可能性についての網羅的なデータはまだ収集していない。モデルは多数の異なるデータセットで学習されることがあり、それらはオープンなものとクローズドなものが混在している可能性があるため、この情報を集めるのは比較的難しい。クローズドなデータセットは独占的なものであるため特定しにくいことが多く、技術レポートで言及されないこともある。

傾向を分析できるほど体系的なデータの利用可能性の情報はないが、最近の主要なLLMの大半が（重みがオープンなものでさえ）主に、あるいは完全に、オープンに公開されていないデータセットで学習されていることは、やはり明らかである。これには、OpenAI、Anthropic、Google DeepMindの最近のフロンティアモデルや、Llama 3ファミリー、Gemmaファミリー、Nemotron-4、Mistral Large 2といった主要なオープンウェイトモデルが含まれる。

LLaMA 1は、学習データが完全にオープンな言語モデルの明確な例だが、2年近く前のものである。Falcon 180Bはオープンなデータに近い。RefinedWebデータセットで学習されており、このデータセットには構築方法を説明した詳細な論文と、オープンに公開された6,000億トークンの抜粋がある。しかし、5兆トークンからなるRefinedWebデータセットの全体は一般に公開されていない。

なお、独占的なテキストデータセットに含まれるデータの多くは、ある意味では一般に公開されている。NVIDIAのNemotron-4の論文が指摘するように、³⁹ 大規模言語モデルはしばしば、CommonCrawlのような、誰でもアクセスできる情報源の公開ウェブデータで学習されている。⁴⁰ しかし、この生のウェブデータは、学習に使われる前に重複の除去と品質による絞り込みの処理を受け、⁴¹ 処理済みのデータセットは非公開にされることが多い。⁴²