データインサイト
オープンウェイトモデルの学習は、よりデータ集約的になっている
著者：Venkat Somala、Yafah Edelman（Epoch AI）
オープンウェイトのLLMでは、学習データ量と活性パラメータ（active parameters）数の比が、2022年以降、年3.1倍で伸びている。最近のモデルは、2022年のChinchillaのスケーリング則が示す最適な比に比べて、パラメータあたり20倍のデータで学習されている。学習トークン数とパラメータ数の情報を入手しやすいオープンウェイトモデルに絞って分析した。
このトレンドは経済的な動機によるものかもしれない。パラメータあたりのトークン数を多くして学習したモデルは、より少ないパラメータで同等の性能を達成でき、推論実行（インファレンス）時の提供コストが下がる。また、オープンウェイトの開発者は、利用者が自分のローカル環境でモデルを動かせるよう、パラメータよりもデータのスケールを優先している可能性もある。
このグラフについて詳しく
注目すべきオープンウェイト言語モデルの学習に使われた、活性パラメータあたりのトークン数のトレンドを調べている。パラメータあたりのトークン数とは、学習トークンの総数（データセットのサイズ×エポック数）を、1回の順伝播で活性化されるパラメータ数で割ったものである。分析の結果、上昇トレンドが見られた。パラメータあたりのトークン数の平均は2022年に約10だったが、2025年には約300まで上昇した。
ただし、このトレンドは、現在のフロンティアモデルの多くを含むクローズドモデルには当てはまらない可能性がある点に注意が必要である。クローズドモデルについては、トークンとパラメータの比を推定するための公開データがない。
この分析のコードはこちらで公開している。
← データインサイト一覧へ
