GPT-4と同等の規模で学習されたAIモデルは30を超えている

10²⁵ FLOPを超えるAIモデルを探すため、Epochは次の3つの情報源を調べた。

• 主要なAIラボによる最近のリリース
• AIベンチマークやリーダーボードで上位のモデル
• オープンなモデルリポジトリであるHugging Faceで最もダウンロードされている大規模モデル

Google（Google DeepMindを含む）、Meta、Microsoft、OpenAI、xAI、NVIDIA、ByteDanceは、大規模な学習に十分なAIハードウェアを利用できることが知られている。これらの開発元については、最近のモデルリリースを網羅的に確認した。Epochの注目すべきAIモデルのデータベースに収録されたモデルを開発した組織のうち、上記以外の組織についても、最近の大規模なモデルリリースがないかを簡単に調べた。

あまり知られていないほかのラボが開発した大規模モデルを特定するため、MMLU、MATH、GPQAといった一般的な言語ベンチマークと、Chatbot ArenaおよびHELMのリーダーボードを調べた。10²⁵ FLOPを超える計算量で学習されたことが分かっているモデルのうち性能が低めのもの（すなわち、初代GPT-4、Inflection-2、Gemini Ultraのうちの最低スコア）に並ぶか上回るスコアを探した。中国の開発元による大規模モデルも探した。そのために、中国のモデルを中心に扱うCompassRankとCompassArenaのリーダーボードを調べた。そのうえで、Yi LightningやLlama-3 70Bのように10²⁵ FLOPをわずかに下回る計算量で学習されたことが分かっているモデルよりも高いスコアのモデルをすべて確認した。

これらの基準を満たしたモデルは、より広範なAIモデルのデータベースに追加した。そのうえで、その学習計算量と、それが10²⁵ FLOPを超える可能性があるかどうかを推定した。いくつかのAIモデルについては、開発元が公開する情報が不十分で、学習計算量を直接推定できなかった。その場合は、モデルの性能から学習計算量を推定した。言語モデルではベンチマークスコアに基づく補完（imputation）を用いた。標準化されたベンチマークスコアが少ない画像・動画モデルについては、ユーザー選好テストなど、出力品質を示すほかの指標に頼った。

最先端の画像・動画モデルには標準化されたベンチマークがないため、こうしたモデルをベンチマークスコアから探すことはできなかった。たとえば、Veo 2のような最近の動画モデルは、リリース資料のなかで、競合モデルと比べた出力への人間の選好によって評価されていた。これに対処するため、主要な動画生成サービスと画像生成サービスを個別に調べた。ユーザーの選好と開発元の計算資源をもとに、こうしたモデルが10²⁵ FLOPの閾値を超える可能性があるかどうかを評価した。