大規模AIモデルを追跡する

更新情報

大規模AIモデルのデータセットは、専用のデータページで、対話型の可視化と解説とともに閲覧できる。

学習計算量が10²³回の浮動小数点演算（FLOP）を超えるAIモデルを追跡する、新しいデータセットを紹介する。これは、数十万ドル以上の学習コストに相当する。¹こうしたモデルを81件特定したほか、10²³ FLOPのしきい値を超えている可能性はあるが学習の詳細が確認できていないモデルを86件特定した。

私たちはこれまでの研究で、現代のAIの発展において学習計算量が果たす決定的な役割と、それがモデルの能力をどう押し上げるのかを調べてきた。既存のAI規制も、学習計算量の重要性を明示的に認めている。最近のAI開発に関する米国の大統領令もEUのAI法も、計算量のしきい値に基づく報告義務を定めている。こうした動きを受けて、私たちはこのデータセットを継続的に更新し、学習計算量が10²³ FLOPを超えるモデルを追跡していく予定である。このしきい値を超えるモデルを「大規模モデル」と呼ぶ。

このデータセットからは、AI開発の最近のトレンドがいくつか見えてくる。以下で、次のものを含む結果を詳しく紹介する。

• 大規模モデルの公開のペースは加速している。2020年に10²³ FLOPを超えたモデルは11件にすぎなかった。2024年までに、私たちのデータセットでは81件に増えており、このトレンドに減速の兆しはない。詳細

• 大規模モデルの大多数は言語モデルだが、マルチモーダルなものや画像を処理するものも多い。初期にはゲームのプレイで画期的な成果があったものの、2021年以降は言語と画像の生成が主流になっている。詳細

• 既知の大規模モデルの半分以上は米国で開発された。4分の1は中国で開発されており、その割合はここ数年で伸びている。詳細

• データセットの大規模モデルのほぼ半数は、重みが公開されてダウンロード可能であり、その大半は学習計算量が10²³〜10²⁴ FLOPである。モデルの重みの一般公開は珍しくないが、そうしたモデルの学習計算量は、最大級の独自モデルより少ない。詳細

このデータセットの作成にあたっては、既存のベンチマークとリポジトリ、英語以外の言語によるモデル発表の自動検索、その他の情報源に基づいて、網羅的な探索を行った。方法は記事の後半で詳しく説明する。データのダウンロードについては付録を見るか、オンラインのデータベースを参照してほしい。

結果

最先端にあるモデルは少ないが、最先端は急速に前進している

図2bが示すように、学習計算量の最先端、現在でいえば10²⁵ FLOP以上にあるモデルは少ない。しかし図2aが示すように、最先端は時とともに急速に前進している。2020年に10²³ FLOPを超える計算量で学習されたモデルは二つだけだった。その数はその後の3年間で指数関数的に増え、2023年にはこの規模で学習されたモデルが40件以上公開された。

最先端の急速な前進は、機械学習の研究開発への投資とハードウェア性能の指数関数的な伸びと整合している。学習計算量が年4倍で伸び続ければ、トップのモデルは2024年に10²⁶ FLOPを超え、2026年までに10²⁴規模のモデルはトップのモデルより1000倍以上小さくなる。一方で、より低いしきい値を超えるモデルの数も急速に増えている。そのため、モデルを監視するための計算量のしきい値で能力の最先端にあるモデルを捉え続けるには、しきい値を時とともに引き上げていく必要があるかもしれない。

大規模AIモデルの大半は言語モデルである

図3が示すように、データセットの大規模モデルの大多数（81件中69件、85%）は言語モデルであり、さらにいくつか（81件中5件、約6%）は視覚言語モデルである。これらのモデルのよくある用途には、汎用的な言語モデリング、チャット、コード生成がある。言語モデルの大半は、ユーザーとのチャットやテキストによる指示に従うといった自然言語のタスクに使われ、コード生成やタンパク質配列の予測といったタスク向けに学習されたものもある。言語やテキストのデータで学習されておらず、代わりに音声、画像、ゲームのデータを使う大規模モデルは、ごく少数（81件中7件、約9%）にすぎない。

大規模モデルの分野をより全体的に把握するため、図3には学習計算量が未確認のモデルの分野も示している。これらのモデルについては学習過程に関する公開情報がないが、分かっていることから判断して、10²³ FLOPを超える計算量で学習されている可能性がある（未確認の大規模モデルを参照）。分野の内訳はおおむね似ているが、画像生成、動画生成、ロボティクスといった他の用途を扱うものの割合が高い。

Runway の動画生成モデル Gen-2 のような独自モデルは、一般に学習データセットやハードウェアの詳細を開示しない。Nvidia の CALM のようなロボティクスシステムでは、公開されていて文書化の行き届いたオープンソースのデータセットを使うのではなく、開発者が独自のデータセットを集める必要があるのが普通である。

2020年以降は言語モデルが大規模AIモデルの主流だが、私たちの定義での最初の二つの大規模モデルは、どちらもゲームをプレイするモデルだった。10²³ FLOPを超える計算量で学習された最初のモデルである AlphaGo Master と AlphaGo Zero は、DeepMind が開発し、2017年に発表した。これらのモデルは前例のない量の計算資源で学習されており、それ以前のどのモデルより1桁以上多かった。データセットには、これ以降ゲームをプレイするモデルはない。図4が示すように、同程度の規模で学習された次のモデル、Google の GPT に着想を得た Meena が発表されたのは2020年になってからである。GPT と GPT-2 は10²³ FLOPに届かなかったが、同じ年の後半に GPT-3 が登場し、その後 Jurassic-1 など、GPT に着想を得た他の言語モデルが続いた。

コンピュータビジョンは主要な研究分野だが、今日の計算量の最先端に近い非生成的な視覚モデルは一つ（ObjectNet で現在SOTAの ViT-22B）しかない。データベースで最大のモデルである GPT-4 と Gemini Ultra²は、どちらもテキスト以外の入力も受け付けるマルチモーダルモデルである。マルチモーダルモデルは純粋な言語モデルより有用なので、これは大規模モデルのトレンドになるかもしれない。これらのモデルの多くは、ChatGPT の GPT-4、Gemini、Ernie Bot の ERNIE のように、商用製品に使われている。

拡散モデルも、DALL-E や Midjourney など、多くの画像・動画生成製品に使われてきた。これらのいくつかは計算量の最先端に近いかもしれないが、開発者は通常、学習の詳細を公表していない。

大規模モデルの大半は米国企業が開発している

81件の大規模AIモデルのうち43件は米国に拠点を置く組織が開発しており、中国の19件、英国の6件がこれに続く。米国・中国・英国以外の国で開発されたモデルは10件で、3件は複数の国の研究者や組織による共同開発である。英国だけで開発された大規模モデルはすべて DeepMind によるものである。DeepMind は Google のAIチームと統合して以降、さらに2件を多国間の共同開発として生み出している。

確認済みの大規模モデルの数で上位にある組織は、Google、Meta、DeepMind⁴、Hugging Face、OpenAI である。その他の開発者には、企業、大学、政府がある。⁵未確認のモデルを含めても結果はおおむね同じだが、Anthropic や Alibaba などの組織が順位を上げる。大規模モデルの大多数は学術界（2件）ではなく産業界（71件）が開発しており、産学の共同開発がいくつか（6件）、政府機関によるものが2件ある。半数をやや超えるもの（53件）は学術的な形式で文書化されているが、そのうち査読付きの学術誌や学会で発表されたのは17件だけで、残りの36件は arXiv のプレプリントなどの形で公開されている。

ダウンロード可能なモデルは珍しくないが、学習計算量は少ない

81件の大規模モデルのうち38件はダウンロード可能⁶で、モデルの重みが一般に公開されている。これまでに最も多くの計算量で学習されたダウンロード可能なモデルは Falcon-180B で、学習には3.8 * 10²⁴ FLOPが使われた。これは GPT-4 のおよそ5分の1の計算量である。これらのダウンロード可能なモデルの大半（86%）は、10²³〜10²⁴ FLOPで学習されている。2022年5月に公開された Meta のOPT-175Bが、10²³の水準に達した最初のダウンロード可能なモデルだった。これまでに Meta はこの規模のダウンロード可能なモデルを十数件公開しており、今後もこの方針を続けると表明している。このことから、最大級のテック企業の一つが投資するなかで、オープンアクセスの機械学習は今後も成長していくと考えられる。

ダウンロード可能な大規模モデルでは、中国のラボの存在感が大きい。12件は中国に拠点を置く組織が開発したものである。注目すべき例の一つが Alibaba のQwenで、中国語のいくつかのベンチマークで最高水準の性能を達成している。中国のダウンロード可能な大規模モデルはすべて、英語と中国語のテキストを数兆トークン含むデータセットで学習された大規模言語モデルである。その大半は主にチャットボットとして機能するが、コード生成向けにも学習されたものもいくつかある。これらの大規模モデルを開発している組織には、Alibaba、Baidu、Huawei など中国のテクノロジー業界の既存企業や、清華大学などの研究機関がある。DeepSeek や Baichuan など、新しいAIスタートアップもいくつかある。

大規模モデルを見つける方法

10²³ FLOPを超える計算量で学習されたと考えられる候補モデルを見つけるために、さまざまな情報源を使った。そのうえで、開発者が直接報告していない場合は、これらのモデルの学習に使われた計算量を推定した。モデルは、情報が得られる場合には学習計算量、パラメータ数、学習データ量の推定値とともに、私たちのデータベースに追加した。10²³ FLOPを超える計算量で学習されたモデルを集計した結果を、この記事で示している。

ベンチマークとリポジトリ

ベンチマークのリーダーボードは、最先端のモデルを特定するための重要な手段である。研究者は標準的な慣行としてモデルをベンチマークで評価し、最も多くの計算量で学習されたモデルが最も高い性能を示す傾向があるからだ。私たちは、機械学習のさまざまな分野を網羅するよう選んだ多様なベンチマークを、詳しく調べた。

Papers With Code（PWC）は、リポジトリとともに公開された機械学習の研究論文を集めており、他の研究者がその研究を再現できるようにしている。またベンチマークのコレクションもあり、それぞれに、ベンチマーク性能の最高水準の推移を追跡するリーダーボードがある。私たちは、提出されたモデル評価が100件を超えるすべてのベンチマークについて、最高性能のモデルを調べた。さらに、PWCのデータセットにあるパラメータ数10億以上のすべてのモデルを調べ、関連する論文に基づいて学習計算量を推定し、データベースに追加した。

スタンフォード大学の基盤モデル研究センター（CRFM）も、大規模モデル、とくにファインチューニング後に下流の用途で使われる基盤モデルの追跡に取り組んでおり、多くの大規模システムを示す資料をいくつか公開している。同センターのHolistic Evaluation of Language Models⁷プロジェクトには、多くの大規模モデルをさまざまな指標とシナリオで順位づけする、随時更新のリーダーボードがある。CRFMはまた、基盤モデル、その派生モデル、データセットのエコシステムをグラフで追跡しており、これらの構成要素に関する情報の表も提供している。私たちは、計算量の推定に関係する情報を求めてその出典を確認し、モデルの表から候補モデルを集めた。

Hugging Faceは、オープンソースのモデルの重みの大規模なオンラインリポジトリを運営している企業である。そのAPIを使って、ダウンロード数が100を超え、パラメータ数が10億以上のモデルを検索した。Hugging Face はまたChatbot Arenaも運営している。これはクラウドソーシングによる比較プラットフォームで、ユーザーは二つの言語モデルと同時にチャットし、応答が気に入ったほうを選ぶ。その結果に応じて、モデルのイロレーティングが調整される。Chatbot Arena のリーダーボードは、競い合うすべてのモデルをイロレーティングで順位づけする。私たちは、このリーダーボードから、学習実行に少なくとも10²³ FLOPが使われた可能性が高いモデルをすべて集めた。

英語以外のニュースとウェブサイト

AIと機械学習の分野が成長するにつれ、大規模モデルの開発は世界中に広がっている。英語以外の言語が主に使われる地域で開発されたシステムは、英語のメディアで十分に取り上げられず、私たちが自ら探さない限り目に留まらないかもしれない。世界で、また技術産業が活発な地域で最も多く話されている言語を考慮して、次の言語を選び、各言語で最も人気のある検索エンジンを使って検索した。中国語、ヒンディー語、スペイン語、フランス語、アラビア語、ベンガル語、ポルトガル語、ロシア語、ウルドゥー語、ドイツ語、日本語、トルコ語、韓国語、ペルシア語、ヘブライ語である。⁸各言語で最も関連性の高いAI関連のキーワード3〜6個それぞれについて、上位100件の結果を、2020年から現在までに絞り込んで調べた。この期間は、モデルが10²³ FLOPを日常的に超えるようになった時期にあたる。

最も実りが多かった検索経路の一つは中国語のメディアで、最近のAIの発展を幅広く報じていた。「チャットボット」「1兆パラメータ」「大規模AIモデル」といった語で Baidu を検索したところ、それまで知らなかった大規模モデルが数多く見つかった。キーワードごとに、Google 翻訳で語を中国語に翻訳し、翻訳した語を Baidu で検索して、上位100件の検索結果で言及されたAIモデルをすべて記録した。そのうえでこれらを調べ、少なくとも10²³回の浮動小数点演算で学習されたかどうかを判断した。

また、中国語のベンチマークでの性能によって多くの大規模言語モデルを順位づけする二つのリーダーボード、SuperCLUE（Chinese Language Understanding Evaluation）とOpenCompassも調べた。これらの大規模言語モデルの大半は中国で開発されたものである。これらのリーダーボードについて、Epoch AI のデータベースにそれまで載っていなかったモデルがないかを確認した。

その他の情報源

データベースに載せるモデルを特定するために、ほかにもいくつかの情報源を使ったが、これらは網羅的には調べていない。大規模モデルに関わる研究や製品を特定するため、主要な最先端ラボ（Anthropic、Google、DeepMind、Microsoft、OpenAI）の過去数年のブログ記事とプレスリリースを確認した。Epoch AI のスタッフは、さまざまなプラットフォームやニュースレターで機械学習の研究や発表も追っている。新しく公開されたモデルを集め、データベースに追加している。

影響力の大きい研究を見つけるために、機械学習のテーマについて定期的に文献検索も行っている。大規模なシステムは被引用数が多いことがよくある（ただし常にではない）。資金の潤沢な研究は分野内で画期的な成果を上げ、注目を集める可能性が高いので、これは予想どおりである。ただし、大規模モデルを見つけるために集中的に取り組んだ今回は、学術的な検索や参考文献リストから、上記の他の方法でまだ特定されていなかったモデルは見つからなかった。

未確認の大規模モデル

この作業での課題の一つは、多くのモデルが、学習計算量を推定できるだけの詳細を報告していないことである。私たちのデータセットは学習計算量が分かっているモデルを対象にしているので、Claude 3 や Sora など、注目すべきモデルの多くが漏れてしまう。これを和らげるため、計算量は不明だが、得られる情報から学習計算量が10²³ FLOPを超える可能性があると考えられる、未確認の大規模モデルの表を別に集めた。このデータも付録からダウンロードできる。

データベースのうち、2022年以降に公開され、学習計算量が不明なモデルを選んだ。パラメータ数が30億未満、または学習データ点が100億未満のモデルは除外した。これらのしきい値は、計算量が確認済みのモデルのパラメータ数とデータセットの規模に基づいている。他のモデルからファインチューニングしたモデルも除外した。そのうえで候補を手作業で調べ、学習に使われたハードウェアやモデルの能力などに基づいて、10²³ FLOPを下回る可能性が高いモデルを除いた。これらのモデルのなかには、それでも10²³ FLOP未満で学習されたものがあるかもしれないが、このデータは、たとえば図3や図6のように、大規模モデルについてより多くの文脈を与えてくれる。

結果と限界

私たちの探索方法には限界があり、探索の範囲内にあるモデルでも、この方法や他の方法では見つけられないものがあるかもしれない。商用製品は独自のものであることが多く、とくにサイバーセキュリティやB2Bサービスの業界では、技術的な詳細が開示されない。サイバーセキュリティ製品群の Darktrace やマルウェア対策ソフトの McAfee はその典型例であり、カスタムチャットボットサービスの Dante もそうである。

公に発表されたAI製品の背後に、重要なモデルがあるのかないのか分からないこともある。Microsoft Azure が提供するチャットボットは、Microsoft 社内で開発されたものかもしれないし、GPT-4 を使っているのかもしれない。Salesforce の競合サービス EinsteinGPT も同様で、裏側で OpenAI のモデルを使っているのかもしれないし、独自にファインチューニングしたモデルが関わっているのかもしれない。ByteDance のチャットボット Tako（TikTok で使われている）は、ほぼ確実に GPT-4 に基づくものではないが、作るのにどれだけの計算量やデータが使われたのかは分からない。画像生成サービスの Craiyon には大規模なモデルが関わっているかもしれず、Stable Diffusion に基づいている可能性もある。一方、チャットと文章作成のサービスである YouChat と rytr は、独自のモデルを確実に含んでおらず、GPT のAPIに頼っている。

また、ラボが大規模なモデルを開発しても、秘密を守るために発表を見送る場合もある。こうしたモデルがどれだけ人知れず存在しているのかは分からない。こうしたモデルを作れる組織の数や正体を突き止めることは有益な取り組みだろうが、今回の作業の範囲を超えていた。

結論

大規模AIモデルは、政策立案者と研究者にとってとりわけ関心の高い対象である。私たちは、大量の計算資源で学習された大規模モデル81件を網羅するデータセットを集めた。このデータセットを分析すると、いくつかの重要な知見が確かめられる。第一に、言語モデリングは群を抜いて最も一般的な分野である。このトレンドは続く可能性が高そうで、次世代のフロンティアモデルは、マルチモーダルになっても、開発では言語が優先されるだろう。第二に、大規模モデルは主に米国企業が開発しているが、4分の1は中国のラボによるもので、その割合はここ数年で伸びている。最後に、非常に大規模なモデルのほぼ半数はダウンロード可能である。このトレンドから、新しい最先端の能力は、独自モデルで開発されてから間もなく広く利用できるようになると考えられる。

結局のところ、存在するすべての機械学習モデルを見つけることは決してできないので、私たちの探索は続く。この作業の主な課題は、学習計算量が分かっていないモデルが多いことだった。⁹政策と研究のコミュニティがこの分野の最先端について十分な情報に基づく見方を保てるよう、機械学習の開発者には計算量を報告することを強く求めたい。

データベースを最新の状態に保つため、15の外国語を自動化されたパイプラインに組み込んだ。このパイプラインは毎月5言語ずつ、前回の検索以降に公開されたAIのニュース記事を検索し、どの言語のモデルでも公開から3か月以内に見つけられるようにしている。機械学習の企業、人材、インフラが世界中に広がるにつれ、こうした検索結果から、ますます多くの大規模モデルが明らかになるだろう。

今後も、これまでに調べたベンチマークで新たに首位に立つモデル、評価されたシステムが新たに100件を超えたベンチマークで首位のモデル、Papers With Code と Hugging Face に登録されたパラメータ数10億超のモデルを追跡していく。データベースに載っていない大規模な機械学習システムの情報は、このフォームから提案できる。このデータが役に立った方は、ぜひdata@epoch.aiまでご連絡いただきたい。

付録

データセット

大規模モデル： 私たちの学習計算量の推定に基づき、10²³ FLOPを超える計算量で学習されたモデル。

未確認および既知の大規模モデル： このデータセットには、10²³ FLOPを超える計算量で学習されたモデルと、学習計算量は不明だが10²³ FLOPを超える計算量で学習された可能性があるモデルの両方が含まれる。詳細は未確認の大規模モデルで説明している。

［埋め込みコンテンツ］

データは、埋め込まれた表の上部にあるドロップダウンメニューからダウンロードできる。また、毎日更新されるダウンロード可能な大規模モデルのデータセットを、データベースのポータルとこのCSVのリンクで提供している。

計算量の最先端の伸び

大規模モデルの計算量の最先端は、2021年以降に急速に前進した。既存の大規模モデルの大半は過去2年間に発表されたもので、2022年に21件、2023年に42件である。10²²〜10²⁴ FLOPのあらゆる計算量のしきい値で、同様のパターンが見られる。どの時点でも、学習計算量の最先端にあるモデルは少数だった。しかし、ある計算量の規模で最初のモデルが学習されると、後続のモデルがますます速いペースで続いた。最先端は急速に伸びてきた。図7に示すように、2020年に10²² FLOPを超えるモデルはほんの一握りだったが、2024年までには数百件になった。

クレジット

この記事は Robi Rahman、David Owen、Josh You が執筆した。

最先端モデルの探索は Robi Rahman、Josh You、David Owen、Ben Cottier が行った。探索で特定したモデルの学習計算量は Josh You、Bartosz Podkanowicz、Robi Rahman が推定した。

草稿のレビューとフィードバックをくれた Anson Ho、Jaime Sevilla、Robert Sandler、Tamay Besiroglu、Ben Cottier、Markus Anderljung に、またオンライン公開に向けて記事の体裁を整えてくれた Edu Roldan と Robert Sandler に感謝する。