Gradient Updates
Epoch AI の研究者が週ごとに論点を掘り下げるニュースレター。記事は著者個人の見解で、Epoch AI の公式見解とは限らない。
原文 67件のうち、日本語版 66件。未訳の記事は原文にリンクしています。
2026年
- ニュースレター資金調達はAIの計算資源のボトルネックになるか？ Anthropicの事例研究
Anthropicのインフラ拡張の事例は、最先端のAIの計算資源の伸びを当面阻むのが資金調達である可能性は低いことを示している。その理由を、資金調達の仕組みから読み解く。
- ニュースレターOpenAIが誤ってHugging Faceをハッキングした――予見できたはずではないか？
専門家の評価やサイバー分野のベンチマークから、フロンティアモデルにはこの種のサイバー攻撃を実行する能力があると予想できていた。
- ニュースレターAI研究開発のためのO*NETに向けて
AI研究の自動化を追跡する新しい方法を提案する。最先端のAI企業の研究業務を6分類・60超のタスクに分解し、現在のAIによる自動化の度合いを0〜5で評価した。
- ニュースレターMythosのサイバー能力は誇張されているのか？
Mythos Previewのサイバー能力について、公開されている証拠をすべて集めて検討した。脆弱性の悪用では大きな飛躍だが、発見での前進の大きさははっきりしない。
- ニュースレターフロンティアラボはAI計算資源の大半を（まだ）使っていない
AIブームの火付け役でありながら、2025年に OpenAI、Anthropic、xAI が使ったのは世界のAI計算資源の20〜30%にすぎない。フロンティアラボの計算資源の配分と、2027年までの伸びの見通しを Epoch AI が分析する。
- ニュースレターイランでの戦争はAIにとって何を意味するのか？
ホルムズ危機が長引いても、計算資源の拡大がおそらく頓挫することはない。ただし、データセンターの拡張を遅らせ、湾岸諸国からAIへの投資の流れを乱すおそれはある。
- ニュースレター研究開発の計算資源支出のうち、最終学習実行が占めるのは少数派である
MiniMax と Z.ai の新規株式公開（IPO）で明らかになった新たな証拠から、研究開発の計算資源支出に占める最終学習実行の割合を推定する。
- ニュースレター推論実行のコスト負担はどれほど続くのか？
Toby Ord は、強化学習のスケーリングは主に推論実行のコストを増やし、経済的な負担を長く残すと論じる。この見方は有用だが、一定の能力水準に達するコストは急速に下がっており、強化学習のスケーリングのデータも乏しい。
- ニュースレターAIが私の仕事を奪う日はどれだけ近いのか？
タスク自動化の先行指標として、ベンチマークの先を見る。自分の実際の仕事を三つ選んで最新のAIエージェントに任せ、どこでつまずくかを調べ、いつ任せられるようになるかを予測した。
- ニュースレターAI企業は黒字化できるのか？
GPT-5の経済性から学ぶ教訓。GPT-5を動かす事業は粗利益では黒字だったが、主力だった4か月間の粗利益では、その直前4か月の研究開発費すら回収できなかったとみられる。
- ニュースレター予測者たちは2025年のAIの進歩をどれだけうまく予測したか？
ベンチマークについてはおおむね正しかったが、現実世界への影響については当たり外れがあった。AI Digestの2025年予測調査の結果を分析する。
2025年
- ニュースレターインターネット越しの分散学習はどこまでスケールできるか？
インターネット越しの分散学習は、学習の規模をインターネットそのものの限界まで広げられる可能性を秘めている。その技術的な実現可能性と、集められる計算資源の規模を検討する。
- ニュースレターベンチマークの実施はなぜ難しいのか
ベンチマークの実施には多くの可変要素があり、それぞれが最終スコアに影響しうる。とりわけ影響が大きいのは、スキャフォールドとAPIプロバイダーの二つである。
- ニュースレター米国のAI電力問題について、ほぼ全員が間違っているのか？
電力が、多くの人が思うほどのボトルネックにはならない理由。米国は天然ガス、太陽光、デマンドレスポンスを組み合わせれば、2030年までのAIの拡大に必要な電力をおそらくまかなえる。
- ニュースレターベンチマークのスコア＝汎用能力＋Claudeらしさ
モデルが多くのベンチマークで同時に伸びるのは、技能がよく汎化するからなのか、それとも開発者がすべてのベンチマークを一斉に押し上げているからなのか？
- ニュースレターソフトウェアによる知能爆発をめぐる議論には実験が必要だ
既存の議論は、多くの人が思っているより不確かなデータと仮定の上に成り立っている。前に進むにはよりよい証拠が必要であり、その証拠を得る手段として、いま追加で取り組むなら実験が最善である。
- ニュースレターOpenAI はどれだけのデジタル労働者を展開できるのか？
OpenAI には数千万人規模のデジタル労働者を展開できるだけの推論実行用の計算資源がある。ただし、いまのところそれが使えるのは限られた範囲のタスクにとどまる。
- ニュースレターGPT-5の学習計算量はなぜGPT-4.5より少なかったのか（そしてGPT-6はおそらくそうならない理由）
OpenAIは、GPT-5ではより小さなモデルで事後学習の規模を拡大することに注力した。そのため学習計算量は前世代のGPT-4.5を下回ったが、次の主力モデルでは再び増えるとみられる。
- ニュースレター長いコンテキストでの推論実行がもたらしうる大きな影響
継続学習、強化学習のスケーリング、研究のフィードバックループ。はるかに長いコンテキストで推論実行を大量に行えるようになれば、この三つに大きな影響が及びうる。
- ニュースレターリードタイムが延びるため、計算資源のスケーリングは減速する
AIの到来時期（タイムライン）を考えるうえで、ひどく過小評価されている力学がある。計算資源の規模が10倍になるごとにリードタイムはおよそ1年延び、スケーリングは減速していく。
- ニュースレター将来のAIエージェントが協働するよう学習される理由
マルチエージェントの構成の多くは凝ったプロンプトに基づいているが、その状態は長続きしそうにない。今後は、必要に応じて分身を立ち上げて調整するよう学習されたモデルが主流になるだろう。
- ニュースレター推論モデルによるアルゴリズムの改善を定量化する
推論モデルがもたらしたアルゴリズムの改善を、それに相当する学習計算量の増加で測ると、少なくとも一部のベンチマークでは、Transformerに匹敵するほど大きかった。
- ニュースレター国際数学オリンピック（IMO）はAIの数学能力について何を教えてくれるか？
AIとIMOをめぐる議論の多くは金メダルに集中している。しかし、最も注意を払うべきなのはそこではない。創造的な問題解決の証拠こそが注目すべき点である。
- ニュースレター「AIマンハッタン計画」はどこまで大きくなりうるか？
AIのマンハッタン計画が実現すれば、計算資源のスケーリングを2年前倒しできる可能性がある。その規模と電力上の制約を、最新のデータから検討する。
- ニュースレターAIと爆発的成長・再論
GATEモデルは、AIによる成長の急加速が予想以上に起こりやすく、はるかに大きな投資も正当化されうることを示す。そこから導かれるのは、ほどほどの確信にとどめた楽観論である。
- ニュースレターDo the biorisk evaluations of AI labs actually measure the risk of developing bioweapons?
（未訳・原文へのリンク）
- ニュースレターベンチマークのスコアを超えて：o3-mini の数学的推論を分析する
o3-mini の数学的推論を検証する。博識で感覚頼みの解き手であり、知識には秀でるが、精密さ、創造性、人間の数学者のような形式的厳密さに欠ける。
- ニュースレターGPQA Diamond：残っているのは何か？
GPQA Diamondベンチマークの妥当性を調べる。欠陥のある問題やモデルがつまずく問題を洗い出し、このベンチマークがなぜ今もAIの評価に役立つのかを考える。
- ニュースレターアルゴリズムはどれだけ速く能力を進歩させられるか？
今週号は、シカゴ大学 XLab のリサーチマネージャーで、Google DeepMind のAIガバナンス・インターンでもある Henry Josephson による寄稿である。
- ニュースレター10分のタスクをこなすAGIはどこにあるのか？
AIが1時間のタスクをこなせるのなら、なぜ現実世界のタスクの自動化はもっと進まないのか。Anson Hoが、能力と文脈（コンテキスト）にまつわる主なボトルネックを探る。
- ニュースレターAIベンチマークが経済的影響を反映してこなかった本当の理由
AIベンチマークがこれまで現実世界への影響を反映してこなかった本当の理由は、根本的な限界ではなく、そのために最適化されていなかったことにある。ただし、この状況は変わりつつあるのかもしれない。
- ニュースレターAIがもたらす価値の大半は、研究開発ではなく幅広い自動化から生まれる
AIの最大の影響は、研究開発ではなく労働の幅広い自動化からもたらされる。経済成長を押し上げるのは科学上の大発見ではなく、自動化の規模である。
- ニュースレターAIにいま何ができるかは本題ではない
AIの進歩を予測するには、現在の能力を外挿するだけでは足りない。将来のブレークスルーを予測する鍵は、タスクそのものの根本的な難しさを理解することにある。
- ニュースレターアルゴリズムの進歩は、計算資源への支出を減らすのではなく、おそらく増やす
AIのアルゴリズムの進歩は、計算資源への支出を減らすとは限らない。むしろ、効率の向上が新たな機会を開くことで、投資の拡大を促す可能性がある。
- ニュースレターChatGPTはどれだけのエネルギーを使うのか？
今号のGradient Updatesでは、ChatGPTが1回の問い合わせ（クエリ）に使うエネルギー量を検討し、それが広く引用される推定値の10分の1程度であることを示す。
- ニュースレターDeepSeek-R1の学習には何が投じられたのか？
今回の Gradient Updates では、DeepSeek-R1 のアーキテクチャ、学習コスト、価格設定を検討し、R1 が OpenAI の o1 に匹敵する性能を30分の1のコストで実現していることを示す。
- ニュースレターAGIは賃金を生存水準より下に押し下げうる
今号の Gradient Updates では、AGIが労働市場をどう揺るがしうるかを考える。AGIは賃金を生存水準より下に押し下げ、これまでの経済の歴史的な傾向を覆すかもしれない。
- ニュースレターDeepSeekはTransformerのアーキテクチャをどう改良したのか？
今回のGradient Updatesでは、DeepSeekの最新モデルに盛り込まれた主な変更点を一つずつ見ていく。
- ニュースレターリモートワークの自動化がもたらす経済的帰結
今号のGradient Updatesでは、リモートワークを完全に自動化した場合の経済的帰結を検討する。控えめな想定でも、その影響は非常に大きくなりそうだ。
2024年
- ニュースレターモラベックのパラドックスとその含意
本号ではモラベックのパラドックスを解説し、このパラドックスに基づいて、さまざまな経済的タスクの自動化がどれだけ難しいかについての推測的な見取り図を示す。
- ニュースレター混合エキスパートモデルは推論実行で密なモデルと比べてどうか？
本号では、混合エキスパート（MoE）モデルが推論実行で密なモデルと比べてどうかを、コスト、効率、デコードの力学に注目して検討する。
- ニュースレターフロンティア言語モデルははるかに小さくなった
今週の Gradient Updates では、Ege が、フロンティア言語モデルのスケーリングが予想外に逆行し、現在のモデルが GPT-4 より1桁小さくなっていることを論じる。
- ニュースレター米国の輸出規制は中国のAI能力にとって何を意味したのか？
対中輸出規制により、米国はフロンティアモデルの学習ではハードウェアで約4年先行しているが、そのモデルをユーザーに提供する推論実行では実質的に先行していない。
