お知らせ
Epoch AI のパラメータ・計算量・データの動向データベースを更新した
原題：Announcing Epoch AI's updated parameter, compute and data trends database
機械学習は猛烈な速さで進歩しているが、その進歩を支えているものは何か。機械学習モデルの性能が、学習データの量、計算量、モデルのパラメータ数と密接に関係していることは広く知られている。Epoch AI では、今日のAIを新たな高みに押し上げている主要な投入要素を調査している。
最近拡充した「パラメータ・計算量・データの動向」データベースは、数百の画期的な機械学習システムと研究論文について、こうした詳細をたどっている。このデータベースを使えば、誰でも次のことを理解できる。
- 初期のネットワークではわずか数十だったパラメータ数が、今日の Minerva のようなシステムでは5,000億を超えるまでに膨らんだこと。
- 学習計算量が、2012年の AlexNet から2023年の GPT-4 までに8桁近く増えたこと。
- データセットが、初期の言語モデルの20万語から Flan-PaLM の学習に使われた1.9兆語へと、数十億倍に拡大したこと。
2021年に初めて公開したモデルとパラメータのデータセットを土台に、400を超えるシステムについてデータを新たに収集または修正し、記録に詳細を書き加えた。新たに加えた項目には PaLM 2 や GPT-4 といったフロンティアAIモデルが含まれ、畳み込みネットワーク、Transformer、LSTM のような歴史的な躍進と並んで収録されている。この6か月で、新しい言語モデル240件と計算量の推定170件を追加した。今後もこのデータセットを維持し、過去の情報を増やし、重要な新しいリリースを加えていく。
私たちのデータは、The Economist、Time、Our World in Data といった主要な媒体や、Anthropic や Brookings Institution などの研究で使われてきた。皆さんもぜひ活用してほしい。解説を読み、対話型の可視化を試し、https://epoch.ai/data/ai-models?view=table#explore-the-data からデータを入手して自分の研究に使ってほしい。