AIで先頭に立っているのは誰か？ 産業界のAI研究の分析

AIの研究開発で民間部門が果たす中心的な役割は、多額の資源投入と大きな影響力に表れている。その証拠に、産業界が関わる研究論文は被引用率が高く、計算量の多い学習実行でも産業界が圧倒的である。2023 Stanford AI Indexなどの最近の分析は、国ごとに機関の研究インパクトが異なることを示しており、研究インパクトでは米国の巨大テック企業が先頭に立っている。私たちの研究は三つのデータセットに基づいている。AI関連の論文についてはOpenAlex、AIの学習計算量のデータについてはPCDデータベース、そして大規模言語モデルの主要なアルゴリズム上の工夫についての新しいデータセットである。論文数、被引用数、著者の実数、学習実行、アルゴリズム上の工夫の採用について、主要企業を包括的に比較する。この多面的なアプローチにより、AI開発に対する産業界の影響をきめ細かく理解でき、主要な企業をめぐる政策議論に役立つ。

論文の全文はこちらで読める。

主な結果

計量書誌学的な成果とインパクト。分析の結果、過去13年間の論文の総数と被引用数ではGoogleとMicrosoftが先頭に立っており、その規模と先行者としての優位を反映している。しかし、論文1本あたりの被引用率では、OpenAI、Meta、DeepMind（現在はGoogle DeepMindの一部）がほかの企業より高い。対照的に、Tencent、Baidu、Huaweiといった中国企業は著者1人あたりの被引用インパクトが低い。例外はSenseTimeで、著者1人あたりの被引用数でMicrosoftを上回っている（DeepMindには及ばない）。

計算資源。調査の結果、Google、OpenAI、Metaをはじめとする米国の主要企業が、学習計算量を急速に拡大していることがわかった。具体的には、Googleの学習計算量は11年間で約1,000万倍に増え、OpenAIとMetaはそれぞれ6年以内に約100万倍に拡大した。この伸びは、同じ期間に4,000倍に増えた機械学習システム全般の傾向をはるかに上回る。

2012年から2023年にかけて、AIの計算量の多い学習実行の分野は大きく変化した。2010年代には当初GoogleのAIラボが圧倒的だったが、2015年に設立されたOpenAIはすぐにGoogle DeepMindの計算量の水準に並び、さらには上回った。特に、推定2e25 FLOPのGPT-4モデルでそうである。OpenAIの急速な進歩は、2019年のMicrosoftとの提携によって後押しされた。比較的新しいAnthropicも、Claude 2でGoogleのPaLM 2に迫る計算規模に達し、存在感を示した。一方、Metaは先頭集団に遅れたままで、差が最も縮まった2022年5月でも、最先端の6分の1の水準だった。

工夫。PaLMやLLaMAなど、学習計算量が最も多い、公開情報のある言語モデル10個で、アルゴリズム上の工夫がどう採用されているかを調べた。こうした工夫は機械学習の研究で決定的に重要であり、それがどれだけ頻繁に採用されているかは研究インパクトを知る手がかりとなる。分析の結果、最近の基盤モデルで最も広く採用されているのはGoogleの工夫、特にTransformerとLayerNormであることがわかった。インコンテキスト学習やインストラクション・チューニングの進展を含むOpenAIの貢献は、Googleのおよそ3分の1の頻度で採用されており、それにMetaとDeepMindが続く。

政策への示唆

フロンティアAIラボを注視する。Google、OpenAI、Metaが先頭に立っている以上、AI政策を立案するうえでこれらの企業は重要である。しかし、OpenAIや特にAnthropicの例のように、新しいAIラボはすぐに追いつくことがある。したがって、現在の先頭企業だけでなく、新興のAIラボの進歩も注意深く追跡することが重要である。

国ごとのAIでの優位を評価する。中国の産業界のラボは、私たちのすべての指標で米国のラボに遅れている。これらの指標がAI開発のすべての側面を捉えているとはかぎらない。たとえば、中国のラボは学術的な場での発表を意図的に優先していないのかもしれない。それでも、汎用の基盤モデルの開発で中国のラボが米国のラボに遅れており、学術的なAI研究全般への影響も小さかったことは、ほぼ確実と思われる。

各国政府がAI企業への監督を強めるなか、私たちの論文は、どの企業がこの分野の舵を取っているかについての重要な証拠を示している。この研究をさらに発展させ、特に主要なアルゴリズム上の工夫についての理解を深めていきたい。

論文の全文はarXivで読める。