お知らせ
Epoch AI 2023年インパクトレポート
原題：Epoch AI 2023 impact report
Epoch AI について
Epoch AI は、人工知能（AI）の行方を調査する学際的な研究機関である。AIの開発と導入の原動力、行方、帰結についての論文やレポートを作成している。
これまでに、Compute Trends Across Three Eras of Machine Learning (Sevilla et al., 2022)（機械学習の三つの時代にわたる計算資源のトレンド）、Revisiting Algorithmic Progress (Besiroglu and Erdil, 2022)（アルゴリズムの進歩の再検討）、Will We Run Out of ML Data? Evidence From Projecting Dataset Size Trends (Villalobos et al., 2022)（機械学習のデータは枯渇するのか：データセット規模のトレンドの予測から得られる証拠）といった、AI予測の最先端の研究を生み出してきた。また、注目すべき機械学習モデルのデータベースを管理している。これは、この種の公開データベースとして現存する最も包括的なものだと広く見なされている。
寄せられた声
Epoch は、業界で最も思慮深く、最もよく調べ上げられた調査研究を行っている。彼らの結果に誤りを見つけたと思ったことが何度かあるが、ノートブックをたどってみると、結局は彼らのほうが正しかった。分野全体のトレンドを知りたいとき、私がまず頼るのが彼らだ。
Nat FriedmanEpoch がなければ、AIの重要なトレンドとその将来への含意を、今ほどよく理解することはとてもできなかっただろうと感じている。
Dwarkesh Patel今年の成果と今後の目標
2023年も、AIの行方とその潜在的な影響についての研究を続けた。機械学習ハードウェア、スケーリング、アルゴリズムの改善のトレンドに加え、自動化と経済成長へのAIの潜在的な影響を扱う研究レポートを20本近く作成した。また、注目すべき機械学習モデルのデータベースを更新・管理し、新たなモデルを数百追加した。
今年は研究以外でも多くの成果を上げた。政策立案者、メディア、AI業界との対話に成功し、私たちの考えを広く伝えることができた。また、700万ドルを超える資金を調達し、複数の人材を採用し、ウェブサイトを更新してデザインとデータの可視化を改善し、二つのメンターシップ・プログラムを実施した。
来年は、AIの原動力と、経済成長へのAIの影響についての研究を続けるつもりである。また、資金源の多様化、各国政府との関係の構築、人材獲得の能力の向上によって、組織の強化にも取り組む。
主な発見のまとめ
機械学習のトレンド
- 機械学習ハードウェアの性能のトレンドを分析し、次のことを見いだした。
AIに関する最近の米国の大統領令は、AIモデルに報告義務を課している。生物学的データで学習されたモデルについての現在のデータを分析し、規定の閾値を超えるタンパク質言語モデルが1つあること、そして生物学データでファインチューニングされたモデルや、混合データで学習されたモデルの扱いにあいまいさがあることを見いだした。詳しくはこちら。
業界の主要なAI研究所の成果を調べ、引用数、学習実行の規模、大規模言語モデルを支える主要なアルゴリズム上の革新のいずれでも、Google、OpenAI、Meta が業界のAI研究をリードしていることを見いだした。Tencent や Baidu のような中国の主要企業は、これらすべての指標で影響力が著しく小さい。詳しくはこちら。
アルゴリズムの改善
- 学習済みの大規模言語モデルの性能を、学習計算量を1〜2桁増やすのに相当する分だけ向上させられる手法がいくつかある。これらの手法の追加の計算コストはわずかである（事前学習の計算量の10%未満、多くは1%未満）。詳しくはこちら。
AIの経済学
- 経済成長に関する主要な理論によれば、ほとんどのタスクで人間の働き手を代替できるAIは、最先端経済の経済成長を10倍にする可能性がある。AIに対する規制の強さ、生産における物理的なボトルネック、超人的な能力の経済的価値、AIによる自動化が起こりうる速さについては、重要な問いが残っている。詳しくはこちら。
- 職業のどのタスクがAIによって自動化されるかを予測することは、重要だが未解決の課題である。私たちは、異なる手法による予測の間に大きな食い違いがあることを見いだした。現実的な導入の前提を置くことや、予測を測定可能なAIの進歩と結びつけることなど、この分野には改善の余地が大いにある。詳しくはこちら。
その他のトピック
- CMOS マイクロプロセッサのエネルギー効率の上限を、散逸するエネルギー1ジュールあたりのFLOP（FLOP/J）で測って推定した。CMOS プロセッサが約6e13〜1.5e15 FLOP/J（16ビット精度の場合）でエネルギー効率の上限に達する確率はおよそ50%と推定される。これは、現在の最高水準から約200倍の改善にあたる。詳しくはこちら。
- 新しい、憶測的な方法論を用いて、経済的に有用なタスクの大半を代替できるAIの学習に必要な要件を推定し、1e27〜1e41 実効FLOP（つまり2024年を起点にアルゴリズムの進歩を調整した値）という推定値を得た。詳しくはこちら。
研究プロジェクトの概要
前回のインパクトレポートを書いた後、2023年に論文、レポート、データベース、ダッシュボードを含む19の研究成果を生み出した。これらは、機械学習のトレンド、アルゴリズムの進歩、AIの経済学など、AIの未来にとって極めて重要な多くのトピックを扱っている。
| 分類 | 種類 | タイトル | 一文での説明 |
|---|---|---|---|
| 機械学習のトレンド | レポート | Trends in the Dollar Training Cost of Machine Learning Systems | 2009年から2022年までの主要な学習実行の計算コストをドル建てで推定する。 |
| 機械学習のトレンド | ダッシュボード | Key trends and figures in machine learning | AIに関する主要な数字とデータの可視化、関連する Epoch AI のレポート、その他の情報源を掲載し、AIの時間を追った変化と成長を示す。 |
| 機械学習のトレンド | 論文 | Power Laws in Speedrunning and Machine Learning | ベンチマークの時間を追った進歩をどうモデル化するかを調べる。機械学習において、1) ベンチマークは飽和していないこと、2) 突然の改善はまれだが前例はあること、を示す証拠を見いだした。 |
| 学習の要件 | レポート | Direct approach | 一定の長さのタスクを確実にこなせるAIを構築するのに必要な計算量を推定する。 |
| 機械学習のトレンド | オピニオン | Please Report your Compute （Communications of the ACM に掲載） | AIモデルの開発に使われた学習計算量について透明性を求める。 |
| 機械学習のトレンド | オピニオン | A Compute-Based Framework for Thinking About the Future of AI | 計算資源こそが、AIの将来の進歩を見通すための重要な指標だと論じる。この観点から開発の時期を論じる。 |
| 機械学習のトレンド | モデル | Direct approach interactive model | 私たちが調べたトレンドの外挿を組み合わせ、変革的なAIがいつ登場すると予想すべきかについて素朴な推定を示す。 |
| スケーリング則 | レポート | How Predictable Is Language Model Benchmark Performance? | 言語モデルの性能のトレンドを調べ、計算資源に注目した外挿がAIの能力を予測する有望な方法であることを示す。 |
| アルゴリズムの進歩 | レポート | The Limited Benefit of Recycling Foundation Models | 古い基盤モデルを再利用して将来の学習実行のコストを節約することの利益を推定し、その利益が限られていることを見いだした。 |
| アルゴリズムの進歩 | レポート | Trading off compute in training and inference | 推論実行時の追加の計算資源を、学習済みモデルの性能向上にどの程度振り向けられるかを調べる。 |
| AIの経済学 | 論文 | Explosive Growth from AI: A Review of the Arguments | 高度なAIが経済成長を大幅に加速させる可能性について、経済成長の理論と実証的な議論を検討する。 |
| 機械学習のトレンド | データセット | Updated Parameter, Compute, and Data Trends database | データベースを800を超える機械学習システムに拡充し、性能のベンチマークデータを追加し、既存データの正確さを確認した。 |
| 機械学習のトレンド | レポート | Trends in Machine Learning Hardware | 機械学習ハードウェアの性能の最近のトレンドを分析する。さまざまなGPUとアクセラレータについて、計算性能、メモリ、インターコネクトの帯域幅、価格性能比、エネルギー効率といった指標に注目する。 |
| AIの経済学 | レポート | Challenges in predicting AI automation | 職業のタスクの自動化を予測する既存の手法をまとめて比較した文献レビュー。 |
| 機械学習のトレンド | 論文 | Who is leading in AI? An analysis of industry AI research | 主要なAI企業を、研究論文の発表、引用数、学習実行の規模、主要なアルゴリズム上の革新への貢献で比較する。 |
| アルゴリズムの進歩 | 論文 | AI capabilities can be significantly improved without expensive retraining | Open Philanthropy および UC Berkeley と共同で、学習済みモデルの性能を向上させる手法の一覧をまとめ、そのコストと利益を定量化する。 |
| ハードウェア | 論文 | Limits to the Energy Efficiency of CMOS Microprocessors （IEEE International Conference on Rebooting Computing での発表が決定） | CMOS マイクロプロセッサのエネルギー効率の限界を推定し、さまざまなエネルギー予算（たとえば2023年の世界の一次エネルギー消費の水準）で行える計算量の上限を導く。 |
| 機械学習のトレンド | レポート | Biological sequence models in the context of the new AI directives | ホワイトハウスの最近の大統領令による生物学的配列モデルの監督を分析し、影響を受けるモデル、大統領令のあいまいな点、データの利用とアクセスのトレンドについての背景を示す。 |
研究以外の活動の概要
目覚ましい研究成果に加えて、私たちは組織への投資を続けている。
資金調達
Open Philanthropy からの2件の助成金によって、2025年9月までの経費をまかなう700万ドルを調達した。また、Carl Shulman から10万ドルという特筆すべき寄付を受けたほか、個人からいくつかの少額の寄付も受けた。
NSF の助成金への応募や、Stanford AI Index とのスポンサー付きの共同研究の開始など、資金源の多様化に積極的に取り組んでいる。多額の寄付に関心のある方は、ご連絡いただきたい。金額を問わず個人からのご寄付もありがたくお受けしている。
採用
シニア研究者として David Owen を採用した。研究と管理の両面で、組織の中で重要な役割を担っている。また、既存のデータ収集の取り組みを拡大するため、データサイエンティストの Robi Rahman と、複数のデータ担当の契約スタッフを採用した。
ウェブサイト
私たちの仕事の質をよりよく反映するよう、ウェブサイトのスタイル、外観、グラフを更新した。最も重要な発見を伝えるのに役立つ質の高いグラフを作るため、今後も可視化の改善を続ける予定である。
メンターシップ・プログラム
二つのメンターシップ・プログラムを実施した。一つは3月に MIT と Harvard の学生を対象に行った非公開のメンターシップ・プログラム、もう一つは Forecasting Research Institute と共同で、女性、ノンバイナリーの人々、あらゆるジェンダーのトランスジェンダーの人々を対象に行った公開のメンターシップ・プログラムである。
影響の概要
メディアと科学コミュニケーション
Epoch AI は、AIについてのよりよいコミュニケーションを引き続き支援している。特に、TIME Magazine、The Economist、MIT Technology Review、New York Times などのメディアで、私たちの研究が取り上げられた。また、Physics World、EAG London 2023、VPRO Tegenlicht などで、私たちの研究について公開の講演を行った。
学会とワークショップ
私たちは、研究へのフィードバックを得るために専門家と頻繁に交流している。たとえば、第7回 Center for Human-Compatible AI ワークショップや、2023 IEEE International Conference on Rebooting Computing に参加した。
また、UVA Economics of AI セミナー、MIT Economics of AI Tea、MIT Economics of AI セミナー、MIT の AI Scaling ワークショップ、MIT FutureTech Lab などでも研究を発表した。
産業界・研究・科学の出版物での言及
Epoch AI は、最先端の開発者と研究者にとって引き続き重要な情報源となっている。François Fleuret の『The Little Book of Deep Learning』、Google による Bard の発表、NVIDIA のブログなど、科学論文、業界の発信、書籍で特筆すべき言及を受けた。
2023年の1年間で、私たちの研究は学術・産業界の出版物から合計で数百件の引用を集めた。年間を通じて特に大きな注目を集めた論文には、Compute Trends Across Three Eras of Machine Learning と Will We Run Out of ML Data? Evidence From Projecting Dataset Size Trends がある。
政策立案者との関わり
この1年で、AI政策への関心が急激に高まった。私たちは、関連するトピックについて最新の証拠を提供することで、AI技術の管理をめぐって続いている議論を支援することができた。
2023年には、協議と共同作業によって、英国科学・イノベーション・技術省（DSIT）と欧州委員会共同研究センターの仕事を支援した。特に、英国 DSIT は Frontier AI: capabilities and risks の中で私たちの研究を取り上げている。また、言語モデルに関する英国貴族院の調査に証拠を提出した。
来年の目標と必要な資金
研究の目標
AIと成長のモデル
2023年を通じて、準内生的成長理論に基づく、AIと経済成長の精緻なモデルの開発に積極的に取り組んできた。このモデルは、Davidson (2023) の計算資源中心のモデルを土台とするものである。別のモデル化の手法をとり、より現実的な投資の動態を取り入れるなど、Davidson のモデルにいくつかの改良を加えている。
このモデルは、入念なレビューとテストを経たうえで、来年中に公開する予定である。公開物はホワイトペーパーと対話型のモデルからなる。また、このモデルを標準的な分析ツールとして広く使えるようにするため、政府と学界の経済学者に向けたワークショップを何度か開く予定である。
AIの原動力
AIの主な原動力と、この分野が将来直面しうるボトルネックについての研究を続ける予定である。アルゴリズム、データの制約の克服、並列学習、AIシステムの学習コストなどに関する研究がこれに含まれる。
機械学習に関するデータ
注目すべき機械学習モデルのデータベースの拡充を続け、特に大量の計算資源を使って学習されたシステムについての情報を網羅的に整備することに力を入れる予定である。
また、アルゴリズムの進歩の研究を支えるため、機械学習におけるイノベーションのまったく新しいデータベースを開発する予定である。
組織の目標
関係者との関わり
AIへの関心は2024年も高まり続け、政策への私たちの貢献は、世界中の意思決定者に情報を届けるうえで引き続き極めて重要になると見込んでいる。そのため、AIの規制に関わる証拠を提供できるよう、米国、英国、EUの政府との関係を深める予定である。
採用
新しいプロジェクトを受け入れ、利用できる専門知識を広げるために成長することは、私たちにとって重要である。シニアスタッフを1〜2人、専門家を1〜2人採用し、人員をフルタイム換算で14〜16人に増やす予定である。また、人材獲得の能力、特にシニア人材を採用する能力を高めたい。
プロジェクト管理
この1年で、より入念なレビューの工程や外部の専門家とのより多くの交流など、成果物の質を高めるための大きな一歩を踏み出した。高い生産性を保ちながら最高水準の質を確保するため、プロジェクト管理とレビューの社内プロセスの改善を続けたい。来年は24〜30の研究成果を生み出すことを目指す。
資金源の多様化
組織の独立性と継続性を確かなものにするため、新たに1〜2の資金提供者との関係を築きたい。これには、私たちの中核的な使命に沿った関係者からの委託研究が含まれるかもしれない。
ウェブサイトとブランド
ブランド刷新の取り組みを続け、私たちの対外的なイメージと可視化の質を高めたい。これを担当するフルタイムのプロダクト・データ可視化デザイナーを採用する手続きを進めている。目標は、ひと目でそれとわかるスタイルを確立し、最も重要な発見を伝えるのに役立つグラフを作ることである。