生物学のAIモデルは、2019〜2021年の急成長の後、年2〜4倍のペースで規模を拡大している

Epoch AI の生物学AIモデルのデータセットでは、タンパク質言語モデルと特化型タンパク質モデルの2つのカテゴリを区別している。タンパク質言語モデル（ProGenやESMなど）は生物学的な配列で学習した生成モデルであり、特化型モデル（AlphaFoldなど）は構造や適応度といった特定のタンパク質の性質を予測する。これらのカテゴリはアーキテクチャ、データのモダリティ、必要な計算量が異なり、上位のタンパク質言語モデルは特化型のモデルの約10倍の学習計算量を使っている。こうした根本的な違いがあり、スケーリングのトレンドも異なるかもしれないため、混同しないよう両者を分けて扱った。

どちらのモデル群も、それぞれの種類で規模拡大の最前線を見るため、学習計算量で見た各時点の上位4に絞り込んだ。図のトレンド線は、2区間の対数線形回帰モデルで区切り点を探索したものと、区切り点のない対数線形モデルのうち、全体として最もよく当てはまるものである。