Epoch AI 2024年インパクトレポート

2024年インパクトレポート

2024年も、AIにとって大きな影響のあった年となった。OpenAI の o1 の公開によって、推論実行時のスケーリングが進歩の重要な原動力として確立し、その流れはやがて OpenAI の o3 の発表に至った。OpenAI は o3 について、数学・推論・コーディングのベンチマークで大きな前進を遂げたと主張している。ほかにも大型のLLMが多数公開された。OpenAI の競合他社による高性能モデル（Google の Gemini 1.5 と 2.0、Anthropic の Claude 3.5 など）、Mistral Large (2)、GLM-4、Doubao Pro、Nemotron-4 340B、Grok 2 といった GPT-4 規模のモデルの急増、そして性能で GPT-4 に匹敵する初の重みをダウンロードできるモデルである Llama 3.1 405B と DeepSeek v3 である。最後に、動画生成も大きく前進し、Sora、ImageGen、Veo 2 などのモデルが公開されたほか、GPT-4o と Claude 3.5 Sonnet によるコンピュータ操作でも初期の成果が見られた。

こうした動きのなかで、進行中の展開について一般の人々に情報を届けるという Epoch AI の使命は、これまでと変わらず重要である。この1年を通じて、私たちはデータページを更新し、この分野で最も重要なトレンドを追う新たなハブとデータインサイトを加えてきた。AIの能力を追跡する取り組みも始め、高度な数学ベンチマークである FrontierMath と、ベンチマークハブを公開した。さらに多くの研究レポートを発表し、その中には2020年代の残りの期間にAIのスケーリングを妨げうる最も重要なボトルネックの分析も含まれる。

今後数年、企業がAIの学習と推論実行のスケールを拡大し続けるにつれ、AIモデルの推論能力と汎用性にも同程度の前進があると予想している。AIの現状を明らかにする活動を続けるため、2025年には、AIの能力の測定とAIの潜在的な経済的影響のモデル化に大きく取り組み、AIモデル・チップ・クラスターのカバー範囲も引き続き広げる計画である。そのため、事業を支え拡大する資金として、今後2年間で最大1,000万ドルを募っている。ウェブサイトからの寄付をご検討いただきたい。多額の寄付をお考えの場合は donate@epoch.ai までご連絡いただきたい。

私たちは、AIの未来と、この組織の未来に大きな期待を抱いている。私たちの歩みにご一緒いただき、ありがとうございます。

2024年のハイライト

2024年の主な成果には次のものがある。

FrontierMath

70人を超える数学者と協力して作成した、100問を超える難問からなる新しい非公開ベンチマーク。フィールズ賞受賞者3人と国際数学オリンピックの専門家1人に話を聞いたところ、ベンチマークの最も難しい部分は並外れて難しく質も高いと評価し、AIがこうした問題を解けるようになるには数年かかるだろうと予想した。ベンチマークのスポンサーである OpenAI は、新モデル o3 の発表で FrontierMath を取り上げ、o3 がこのベンチマークの25%を解くと主張した。このプロジェクトは Twitter で100万回近く閲覧され、Science、Ars Technica、TIME で報じられた。

これが重要な理由。 AIの推論能力を測る既存のベンチマークは飽和に近づいており、データ汚染の問題も抱えがちである。FrontierMath はこの両方の課題に取り組むもので、今後数年にわたり数学能力の進歩を追跡する主要な手段となることを目指している。

AIのスケーリングは2030年まで続くか？

AIの事前学習に使う計算資源のスケールアップを妨げる4つの主要なボトルネック（電力インフラ、GPUの生産、データの入手可能性、レイテンシ）を調べた長編レポート。かなり保守的な仮定のもとでも、これらのボトルネックがあっても計算資源のスケーリングの現在のトレンドが2030年まで続く可能性はかなり高いと結論づけた。そうなれば学習計算量は1万倍に増え、これは GPT-2 と GPT-4 の差に匹敵する。このプロジェクトは Twitter で150万回超閲覧され、米国議会予算局の報告書でも取り上げられた。

これが重要な理由。 事前学習における計算資源のスケーリングは、過去10年間のAIの進歩の最も重要な原動力だった。このレポートは、スケーリングを止めうる最も重要なボトルネックを特定し、それについて新たなデータと分析を提供している。すでに各国政府がAI開発に必要なインフラを計画する助けとなっており、これまでの研究や議論を位置づける文脈も与えている。

Epoch AI のデータハブ

AIに関するデータとインサイトの集成を更新した。注目すべきAIモデル、1e23 FLOP を超える大規模AIモデル、AIハードウェア、そして注目すべきAIベンチマーク評価のデータベースからなる。私たちのデータは、テクノロジー業界の指導者である Satya Nadella 氏や Sundar Pichai 氏、米国産業安全保障局などに引用されている。Twitter での閲覧数は800万回を超え、メディアでも広く論じられた。

これが重要な理由。 AIの主要なトレンドや数値について、正確で最新かつ引用しやすい情報があれば、議論を確かな証拠に基づかせることができる。私たちのデータベースがあれば、政府・学界・産業界でトレンドについて踏み込んだ議論や分析ができる。

このほかにも多くの注目すべき成果を出した。ICML 2024 の論文 Limits of LLM Scaling Based on Human-Generated Data（人間が生成したデータに基づくLLMのスケーリングの限界）や、NeurIPS 2024 の論文 Algorithmic Progress in Language Models（言語モデルにおけるアルゴリズムの進歩）などである。外部の取り組みにも貢献しており、International Scientific Report on the Safety of Advanced AI（高度なAIの安全性に関する国際科学報告書）への協力や、英国科学・イノベーション・技術省と欧州共同研究センターへの助言などを行った。

報道と引用

私たちの研究はメディアで広く取り上げられてきた。これは、私たちの研究と、それがAIの未来にとって持つ意義に、幅広い関心が寄せられていることの表れである。以下は特に注目すべき言及の一部で、科学・テクノロジー・ビジネス・政府の各方面から私たちの取り組みが注目と評価を集めていることがうかがえる。

NATUREThe AI revolution is running out of data. What can researchers do?2024年12月11日TIMEThe Researcher Trying to Glimpse the Future of AI2024年6月6日SCIENCE'Brutal' math test stumps AI but not human experts2024年12月3日THE NEW YORK TIMESThe 2024 Good Tech Awards2024年12月30日米国商務省Establishment of Reporting Requirements for the Development of Advanced Artificial Intelligence Models and Computing Clusters2024年9月11日英国科学・イノベーション・技術省Artificial Intelligence sector study 20232024年10月23日MICROSOFT、SATYA NADELLAMicrosoft Ignite 20242024年11月18日LEOPOLD ASCHENBRENNERSituational Awareness: The Decade Ahead2024年6月4日

Epoch AI への声

Epoch AI の研究・データ・出版物は、学界・産業界・政府の専門家から高い評価を受けている。以下に、私たちが築いてきた信頼と信用、そして私たちの研究が及ぼし続けている大きな影響を示す声の一部を紹介する。

Epoch AI の研究は、急速に変化する人工知能の状況に明快さと奥行きの両方をもたらしている。AIの行方とその社会的な意味を理解したい人なら誰にとっても、彼らの研究は有益な資料である。

Yoshua Bengio

Mila - Quebec AI Institute 創設者・科学ディレクター、正教授
Université de Montréal

Epoch は、業界で最も思慮深く、最もよく調べ上げられた調査研究を行っている。彼らの結果に誤りを見つけたと思ったことが何度かあるが、ノートブックをたどってみると、結局は彼らのほうが正しかった。分野全体のトレンドを知りたいとき、私がまず頼るのが彼らだ。

Nat Friedman

GitHub 元CEO

Epoch AI の研究と分析は欠かせない。AIシステムが強力になるにつれ、AIの進歩について質の高い独立した情報を得ることはますます重要になっている。

Chris Meserole

エグゼクティブ・ディレクター
Frontier Model Forum

数字で見る2024年

成果物

主要な公開物

データインサイト

データ収集

1,200+

追加したAIモデル

170+

追加した学習計算量の推定値

75+

追加した機械学習ハードウェア（アクセラレータ）

130+

追加したベンチマーク評価

反響

200+

メディアや報告書での注目すべき言及

229,000

ウェブサイトの年間アクティブユーザー数

2023年比 +265%

1,700

当サイトにリンクしている固有ドメイン数

2023年比 +405%

ソーシャルメディア

3,500+

現在のニュースレター購読者数

2023年比 +410%

3,500+

現在の LinkedIn フォロワー数

2023年比 +1,238%

16,000+

現在の Twitter フォロワー数

2023年比 +471%

組織

700万ドル

寄付者と協力機関から調達

300万ドル

支出

新規採用

2023年比 +77%

2025年の計画

2025年を通じて、次の3つの主要な取り組みに力を注ぐ計画である。

AIに関するデータの整備

これまで成果を上げてきたAIモデルとAIハードウェアの追跡を続けるとともに、データの対象をAIクラスターと企業にも広げる計画である。あわせて、AIに関わる重要なグラフを厳選した週刊のデータインサイトを公開する予定である。

これが重要な理由：AIの主要なトレンドや数値について、正確で最新かつ引用しやすい情報があれば、議論を確かな証拠に基づかせることができる。私たちのデータベースがあれば、政府・学界・産業界でトレンドについて踏み込んだ議論や分析ができる。

AIの能力の測定

AIベンチマークハブを大幅に拡充し、モデルの能力のトレンドを追ううえでオンラインで最良の資料にすることを目指す。FrontierMath、GPQA、SWE-bench、RE-bench などの主要なAIベンチマークでの独立した評価を掲載する。AIの能力測定に残る重要な空白を埋める新しいベンチマークや、能力スコアやモデルカードを含め、AIの進歩を追跡するための精緻な方法論も開発する。

これが重要な理由：AIベンチマークにおける能力のトレンドは、AIの影響を示す最も重要な先行指標である。私たちのベンチマークの取り組みは、主要な研究所が達成したとする結果を検証可能にし、この分野がどれほどの速さで新たな突破口を開いているか、そして新たな能力と、学習・推論実行の計算量のスケーリングとの関係を明確に示すものになる。

AIの影響のモデル化

AIによる自動化と計算資源のスケーリングの経済モデルを開発している*.*このモデルは、AIへの投資、学習と推論実行の計算、世界の経済生産、労働の代替について知見をもたらす。成長理論とAIのスケーリング則を組み合わせ、気候政策における DICE モデルのように、政府や研究者が考えや意思決定の参考にできる標準的な分析ツールにすることを目指している。

これが重要な理由：AIと経済学のあいだには空白があると私たちは見ている。現在の多くの仕事を自動化しうる高度なAIがもたらす帰結に、主要な経済学者はまだ深く取り組んでいない。このモデルは、意見の相違や主要なモデル化上の判断の影響を探るのに使える具体的なモデルに研究を基づかせることで、AIの影響と、そこで何がかかっているかについての議論を大きく改善しうると考えている。

これらが私たちの成果物のすべてではないが、現時点での最優先事項である。AIの状況は流動的であり、状況に合わせて変更することもありうる。この仕事に加え、組織面でも重要な点を整えていく計画である。

情報発信

情報発信の完成度と頻度を高める計画である。週刊ニュースレターを続けるとともに、週刊のデータインサイトや動画など、さまざまな形式を試す。ウェブサイトも大幅に改善し、コンテンツを見つけやすく、利用しやすくするつもりである。

採用

目標を達成するため、一流の人材を迎えて少しずつ体制を広げる計画である。AIデータ部門のリーダー、ベンチマーク業務のための研究エンジニアと研究者、個別プロジェクトのリーダーを採用し、ソフトウェア・デザイン・運営のチームも拡充する。資金調達がうまくいけば、年末までに常勤27人の中核チームとなる見込みである。

フィードバック

読者・利用者との関わり方を改善していくことを楽しみにしている。試してみたい取り組みには、ベータ版の読者グループ、ウェブサイト上でフィードバックを受け取るためのより良い仕組み、私たちがうまくできている点と改善できる点を知るためのより広範な読者アンケートなどがある。

パートナーシップ

使命を続けるための資金提供を、産業界、政府、民間財団に働きかける計画である。特に、AIやコンピューティングに強い専門知識を持ち、一般の人々に情報を届けるという私たちの使命に賛同してくれるパートナーや、支援基盤を多様化し、より多様なフィードバックを得る助けとなる新たな資金提供関係に関心がある。既存のパートナーと支援については、寄付のページで詳しく読むことができる。

私たちの活動へのご支援

2024年の成果（主要な研究所による FrontierMath の採用から、テクノロジー業界のトップや政策立案者による私たちのデータの引用まで）が示すとおり、私たちは、AIの急速な進歩に明快さをもたらすための実績ある枠組みを築いてきた。それでも、この影響をさらに広げる余地はある。独立したモデル評価を広げ、高度な新しいベンチマークを開発し、モデルとハードウェアにとどまらずAIクラスターや企業まで対象を広げることを目指している。また、時折のデータ公開から週刊のインサイトへと移行する計画であり、それを、研究の質と頻度を高める、より大きく専門化したチームで支えていく。

こうした目標を実現するため、今後2年間で1,000万ドルを調達しようとしている。特に、資金だけにとどまらないものを提供できる組織との協力関係を築きたいと強く願っている。深い技術的専門知識を持つAI研究所、大規模インフラの経験を持つコンピューティング企業、人々の理解を深めるという私たちの使命に共鳴する財団などである。私たちのプロジェクトの規模は通常10万ドルから100万ドルで、小規模で焦点を絞った取り組みから、新しいベンチマークの開発のような大きな事業までを含む。支援が増えれば、私たちの活動の幅・深さ・影響を大きく伸ばし、AIコミュニティがこの分野の急速な進化を乗り切るのに必要な独立した分析と信頼できるデータを手にできるようになる。

個人の寄付者の方も、機関としてのパートナーの方も、責任ある透明なAIという共通のビジョンを前に進める活動にぜひご参加いただきたい。皆さまの資金面でのご支援、そしてフィードバックは、私たちの活動をAIコミュニティと広く一般の人々の実際のニーズに合わせる助けとなる。ご支援の方法について詳しくは、donate@epoch.ai までメールでお問い合わせいただきたい。