学習計算量は、ビジョンより言語のほうが速くスケールしてきた

2020年以前は、最大級のビジョンモデルと言語モデルの学習計算量は同程度だった。その後、Transformerベースのアーキテクチャの成功に後押しされ、言語モデルは急速にスケールして、より多くの学習計算量を使うようになった。単独のビジョンモデルが追いつくことはなかった。代わりに、最大級のモデルは近年マルチモーダル化し、GPT-4やGeminiのような大規模モデルにビジョンやその他のモダリティを統合している。