データインサイト
最先端のAIチップ設計は、フロンティアモデルの学習に約4年間使われている
著者:Luke Emberson、Ben Snodin、David Owen(Epoch AI)
主要なAIチップの発売から、そのチップを使って学習した最後のフロンティアモデルの公開日までの期間は、中央値で3.9年である。ここではNVIDIA V100以降のAIチップに注目する。これらのチップは、現在のフロンティアモデルに近い大規模言語モデルの学習に使われてきたからである。
NVIDIA V100より古いチップも含めると、発売からフロンティアモデルの学習に最後に使われるまでの寿命の中央値は2.7年に縮まる。
このグラフについて詳しく
本分析では、市販のAIチップ設計の「フロンティア寿命」、つまりチップが一般に発売されてから、そのチップを使って学習した既知の「フロンティアAIモデル」のうち最後のものが公開されるまでの期間を分析している。フロンティアAIモデルは、公開時点で学習計算量(training compute)が上位10位以内に入る大規模AIモデルと定義する。この分析のために、注目すべきモデル(Notable Models)データセットと機械学習ハードウェア(Machine Learning Hardware)データセットを組み合わせ、各AIチップ設計について、それを使って学習したフロンティアモデルの最新の公開日を特定した。
分析を再現するためのコードはこちらで公開している。
← データインサイト一覧へ