データの解説 AIモデル
収録基準
原文：AI models documentation – Inclusion
このデータベースはAIモデル、特に最高水準を押し上げたモデルや、世界や分野の歴史に大きな影響を与えた注目すべきモデルを対象としている。ここでは、データの集め方の概要を示し、収録の基準と「注目すべき」とみなす基準を定める。
基準
データベースに収録されるには、機械学習モデルが次の収録基準をすべて満たす必要がある。
- モデルが存在すること、および機械学習に関わるものであることが、信頼できる文書で確認できる。
- モデルが学習の要素を含んでいる。学習によらないアルゴリズムは対象外である。
- モデルが実際に学習されている。実験結果のない理論上の記述は対象外である。
注目すべきモデルの基準
データベースに追加したモデルのうち、次のいずれか一つでも満たすものを「注目すべき」モデルとする。
- 引用数が多い（5,000件超）。
- 学習の計算コストが高い（2023年の米ドル換算で100万ドル超、またはその時点までに学習された最も高額なモデルのコストの1%以上のうち、大きいほう）。
- 利用が多い（月間アクティブユーザーが100万人超）。
- 最高水準の性能を示した（通常は定評のあるベンチマークで。詳しくは後述）。
- 同等の歴史的な重要性がある。
- 上の基準と少なくとも同程度に注目に値すると、Epochの職員が裁量で判断した。
学習途中の複数のチェックポイントや、同じモデルファミリーの複数のサイズなど、互いに関連するモデルが多数ある場合、データベースには計算量を最も多く使った版を優先して収録する。ほかの版も、それ自体が注目に値すれば収録することがある。
最高水準
モデルが最高水準かどうかの判定は、引用数や学習の計算予算を確かめるだけの場合に比べて、手間のかかる作業になりうる。本当に関心の持たれているタスクで、そのモデルが当時存在した最良のモデルだったと考える十分な理由があれば、そのモデルを最高水準とみなす。その根拠を示す標準的な方法は、定評のあるベンチマークで最高水準の性能を示すことである。
定評のあるベンチマークと認めるには、次のいずれか一つを満たす必要がある。
- 引用数が100件以上。
- 3つ以上の研究グループから、合計10件以上の結果の提出がある。
- 査読のある信頼できる学術の場で、関連する論文が発表されている。その論文がベンチマークだけを扱っている必要はないが、ベンチマークが主要な成果の一つでなければならない。
ベンチマークの結果がなくても、モデルが本当に最高水準だという説得力のある証拠があれば、私たちの裁量でそのモデルを最高水準とみなすこともある。ここで根拠として認めるのは、ベンチマークではないデータベースでの比較、質の高いユーザー選好調査、または最高水準の能力の実演である。例えば、GraphCastは、単独のベンチマークではない気象データベース上で、ほかの気象予測モデルと比較されている。それでも私たちは、これを最高水準であることの説得力のある証拠とみなしている。
歴史的な重要性
どの応用でも厳密には最高水準を押し上げていなくても、AIの歴史で重要な前進をもたらしたモデルは、歴史的な重要性を理由に収録できる。例えば、ニューラルネットワークの画期的な成果の多くは、ほかの機械学習の手法より性能が劣っていたが、その後のAIの発展に直接影響を与えた。この位置づけを裏づける根拠としては、のちの注目すべきモデルでの引用、レビュー論文や教科書での議論、そのほか影響力のある成果として明確に認められていることなどがある。
裁量による判断
上の区分には当てはまらないが、ほかに選ばれたモデルと同程度に注目に値するモデルは、Epochの職員の裁量で収録できる。例えば、あるベンチマークで最高の性能を出していなくても、重要なタスクでコスト効率のパレートフロンティア上にあるモデルは、注目すべきモデルとすることがある。
| 例 | 収録するか | 理由 |
|---|---|---|
| Human-level control through deep reinforcement learning | する | 十分に文書化された学習済みモデルで、引用数が5,000件を超え、ゲームの自律プレイで最高水準を押し上げた。 |
| Stochastic Neural Analog Reinforcement Calculator | する | 単独の関連論文はないが、ほかの情報源で存在が確認でき、最初期のニューラルな学習システムの一つとして、歴史的な重要性に疑いの余地がない。 |
| Theory of neural-analog reinforcement systems and its application to the brain model problem | しない | 歴史的には重要だが、実験で学習されたモデルがなく、成果がすべて理論上のものである。 |
| Scaling scaling laws with board games | しない | 注目すべきモデルの基準をどれも満たさない。引用数が多くなく、使っているモデルの計算量も小さいうえ、最高水準の結果を目指してもいない。むしろ、スケーリングの細部を調べた論文である。 |
探索の手順
このデータセットは、さまざまな情報源から集めた。文献レビュー、AIの発展の歴史を記した文献、主要な学会で引用数の多い論文、業界の主要な研究所が出した注目度の高いモデル、注目すべき論文の参考文献、AIの論文を整理した既存のデータセット（謝辞を参照）、協力者からの随時の提案などである。
新しいモデルが公開されるたびに見つけられるよう、報道、主要なAI研究所の発表、ベンチマークを監視している。そのため、新しいモデルの収録には遅れが出ることがある。通常、最も注目度の高い公開（GPT-4など）は公開から数日以内の追加を目指している。注目度の低いモデルでは、収録の遅れが数か月に及ぶこともある。
収録範囲
2026年9月30日時点で、データセットには3625のモデルが含まれており、そのうち 個に計算量の推定値がある。
- 収録が最も充実しているのは、2018年以降に開発された言語モデルと視覚モデル（それぞれ1900個と576個）である。ただし、最新のモデルの収録には遅れがある。この期間でも、音声生成などのより専門的な分野は、収録がおそらく手薄である。
- 2010〜2018年の深層学習による言語モデルと視覚モデル（それぞれ131個と152個）は、それほど網羅的ではないが、まずまず収録している。ここでも、ほかの分野は収録が手薄な可能性がある。
- 2010年より前の歴史的なモデル（2010年以降の3398個に対して、2010年より前は215個）、特に深層学習の枠組みの外にあるモデルは、収録がかなりまばらである。この時期の項目は、情報源を体系的に探索したものではなく、教科書やレビュー論文で言及された注目すべきモデルが中心である。
データベースについての質問や、追加すべきモデルの提案があれば、data@epoch.ai まで連絡してほしい。