Epoch とは何か？｜Epoch AI 日本語版

はじめに

3年前に Epoch を立ち上げて以来、私たちは数百のプロジェクトに取り組み、幅広い読者を得てきた。それでも、よく聞かれる質問の一つが「Epoch とは何か？」である。

ある意味では、これは簡単に答えられる質問だ。私たちは、AIの行方についての社会の理解を深めることを使命とする非営利の研究組織である。簡単に言えば、AIをめぐる判断が、得られるかぎり最良の証拠に基づいて行われるよう、できることをしている。

そのために、AIの最も重要なトレンドのいくつかについて、データを整備し、質の高い研究を行っている。その成果の大部分は、AI政策の専門家、ジャーナリスト、AI開発者などを含む幅広い読者に向けて公開している。とりわけ、データを特定の筋書きに合わせて加工せず、データが示すことを常にそのまま伝えると約束している。

私たちがこの使命に取り組むのは、AIについて皆がともにより多くを知っていれば、平均すればより良い判断ができると信じているからである。私たちの研究が材料となる判断のすべてに、私が賛成するわけではないだろう。それでも、データに根ざしていれば、AIについてより賢明な議論ができると信じているし、この使命でこれまでに収めてきた成果には満足している。

とはいえ、この短い説明は役に立つものの、私たちの文化や気風の細かな点を多く取りこぼしている。本稿では、私たちが何をしているのか、なぜそうするのか、そして何ではないのかを詳しく述べる。Epoch での判断の仕方を知ってもらい、私たちの動機をよりよく理解してもらうのが目的である。

私たちがしていること

私たちは主に、AIの現在と未来を理解するのに最も役立つと考える仕事に取り組んでいる。この知見は公開すると約束している。公開すれば、今後数年のうちに社会がAIについて下す重要な判断の材料になると考えるからである。

AIは急速に進化している分野であり、私たちの使命を果たすには、トレンドや機会に素早く適応しなければならない。そのため当然ながら重点をかなり頻繁に変えることになり、外部の人には優先順位が分かりにくくなっている。

以下では、私たちが取り組むことにしたプロジェクトについて述べる。これはプロジェクトの近況報告ではない。そうではなく、なぜそれに取り組むことにしたのかを中心に述べたい。そうすれば、取り組む対象をどのように選んでいるのかが、よりよく分かるはずである。

AIのトレンドに関するデータを整備し、分析する

Epoch AI は、AIモデルに関するデータを整備・整理する取り組みとして始まった。その代表例が、これまでで最も引用されている私たちの論文 Compute Trends Across Three Eras of Machine Learning（機械学習の3つの時代にわたる計算量のトレンド）である。

現在では、本格的なオープンソース・インテリジェンス（公開情報の調査・分析）の事業を運営し、AIモデル、ハードウェア、スーパーコンピュータを追跡している。このデータの解釈を助けるため、AIの重要なトレンドを示す短い分析を頻繁に公開している。

この事業は、事業収入と慈善的な資金提供によってまかなう公共財としても、有償のサービスとしても運営している。たとえば、英国の ARIA からは以前に計算資源のトレンドに関する仕事を委託されたことがあり、Sentinel Bio のためには生物学的配列モデルを分析した。こうした仕事では、クライアントの戦略上の問いに答える簡潔な非公開の報告書を納め、プロジェクトの過程で収集したデータは、私たちの使命を前進させるために公開した。

このデータの仕事の根拠は単純である。AIのトレンドについて最新のデータを入手できるかどうかは、投資やガバナンスなどの判断にとってきわめて重要である。放っておけば、AIについての情報のほとんどは、その技術に密接に関わる少数の人の手に握られてしまう。その他の利害関係者の多く（政策立案者、他業界の関係者、ジャーナリスト、AI企業の外の研究者など）は、AIの発展について限られた、遅れた見方しか得られない。Epoch はこの状況を改善し、より多くの人がAIについて明確な戦略的全体像を持てるよう努めている。

高度なAIの能力を測るベンチマークを開発する

これまでで最もよく知られている私たちの仕事は FrontierMath である。これは、高度なAIの数学能力を測るために OpenAI から委託された非公開のベンチマークである。ほかにも、ソフトウェア工学やリモートワークに関するベンチマークなど、いくつかの試験的な取り組みを行っており、現在はこうしたベンチマークをさらに開発するための提携を模索している。

あるベンチマークに取り組むかどうかを決める主な基準は、それがAIの行方についての一般の理解を深めるかどうかである。FrontierMath に取り組むことにしたのは、難しい数学のベンチマークがあれば、AIが新しく難しい推論問題をどの程度解けるのかが明らかになると考えたからである。この賭けは報われ、FrontierMath はAIの能力を測る指標として広く使われるようになった。

私たちは、ベンチマークの仕事の質と透明性を高めることを約束している。FrontierMath（と、近く公開されるさらに難しい問題群である Tier 4）にアクセスできるAI企業は OpenAI だけであり、そのことが OpenAI のモデルの FrontierMath の結果に対する信頼を損なってきた。今後開発するベンチマークについては、ベンチマークの所有権を私たちが保持し、AI企業に公平なアクセスを提供することを約束する（たとえば、ベンチマークを公開する、あるいはどの企業にも有料で構造化されたアクセスを提供する、など）。また、積極的な透明性も約束する。FrontierMath では、OpenAI からの資金提供の関係を、明示的に尋ねてきた貢献者にしか開示しないという過ちを犯した。今後は、すべての貢献者に積極的に知らせ、資金提供者を明確に開示しないままベンチマークを公開することはしない方針である。

AIモデルの独立した評価を提供する

AIの能力を測る私たちの仕事のもう一つの重要な側面が、モデル評価である。私たちは、一般に利用可能なモデルのベンチマーク評価を載せた公開ダッシュボードを運営している。このダッシュボードはAIの能力のトレンドを示すことを目的としており、好意的に受け止められていることをうれしく思っている。少なくとも技術的に可能なかぎり、注目すべき一般に利用可能なモデルの評価を引き続き公開していくつもりである。

現在、AI研究所と公開前評価の仕事に取り組むかどうかを検討している。評価の専門性を高め、AI企業と緊密に協力する良い機会になると見ているが、秘密保持契約（NDA）によって学んだことを共有できなくなることを懸念している。それは私たちの使命に反するからである。

助言と受託研究を提供する

仕事の一環として、私たちはAIに取り組む組織やAIの影響を受ける組織と日常的に提携している。そこには、大手AI企業（Google など）、政府機関（英国科学・イノベーション・技術省など）、隣接分野で活動する組織（米国電力研究所など）、AIの影響を受ける企業（ハードウェア、エネルギー、投資の各企業やコンサルティング会社など）が含まれる。

パートナーに提供するサービスは、上で述べた種類の仕事（データ収集、ベンチマーク開発、モデル評価）に加え、助言と受託研究にわたる。パートナーとの仕事にはたとえば、AIの電力需要の調査、AIのスケーリングに関する私たちの研究のまとめ、AIの能力を測るために異なるベンチマークの結果を集約する新しい研究などがある。

提携によって、一般向けの仕事の資金を補え、より緊急で重要なプロジェクトを見つけられ、成果物を改善するフィードバックも得られる。また、クライアントに価値を届けることも目指している。私たちの研究がクライアントの戦略的状況にどう当てはまるかを説明する助言や非公開の報告書によって、AIへの理解を深めてもらっている。

誰と仕事をするかを選ぶ際には、次の問いを自らに投げかけている。

そのプロジェクトは、AIへの理解を深める助けになるか。どの問いに取り組むのが最も重要かについて、私たちははっきりした見解を持っている。そのおかげで、推論実行時のスケーリングやデータの枯渇など、重要な新しいトレンドを早い段階で調べることができた。提携でも、より広く私たちの仕事全般でも、AIの未来にとって重要だと考える問いに取り組むことを選んでいる。
パートナーは、AIの行方に影響する重要な判断を下す立場にあるか。私たちは、AIに関して重要な判断を下している組織、特に政府と提携することを好む。こうしたパートナーは、何に取り組むのが最も重要かについて有益なフィードバックをくれるし、AIをめぐる重大な判断に情報を届けるという私たちの使命を直接前進させる。たとえば、英国科学・イノベーション・技術省とは、その政策判断に情報を提供するために繰り返し提携してきた。
私たちの成果は公開されるか。私たちは、AIへの理解を深める公開の成果物を伴うプロジェクトを優先する。成果を公表すれば、思いもよらなかった読者層も含め、より多くの人に届き、より大きな影響を及ぼせる。これは常に可能なわけではない（たとえば、機微なテーマについて政府に助言する場合など）が、それは例外であり、受け入れられる妥協点を見つけるよう努めている。
パートナーから学ぶことができるか。私たちは、学ぶところがあり、私たちの仕事に良いフィードバックをくれるパートナーとの仕事を優先する。たとえば、AIのエネルギー需要についてより正確な研究をするために EPRI と提携した。
条件は妥当か。私たちは、少なくとも業界のコンサルタントと同等の料金を請求することを目指している。意図せずパートナーの仕事に補助金を出すことにならないようにするためである。得た利益はすべて使命のために再投資しており、主に公開のデータの仕事と独立した報告書の資金に充てている。

こうした提携全体を通じて、高い透明性を保つことを約束している。ただし、たとえば今後の規制の詳細や企業秘密は明かせないことも認めておく。これまでに仕事をしたパートナーの一覧はウェブサイトで公開している。

私たちが何ではないか

Epoch を理解するもう一つの方法は、似た仕事をしている組織と比べてみることである。たとえば Our World in Data（世界の重要なトレンドに関するデータを整備・共有している）、AI Index（AIに関するデータの年次集成を公表している）、Artificial Analysis（独立したAIのベンチマーク・分析企業）である。

しかし、どれもぴったり当てはまる比較対象ではない。私の知るかぎり、私たちのニッチにいる組織はほかにまったくない。そこで代わりに、私たちが何ではないかを述べよう。

私たちはAI開発企業ではない

私たちの研究プロジェクトの多くは、人工知能の最先端を前進させる助けになりうる。私たちは OpenAI と提携して、現時点で最良の数学AIベンチマークを作った。AIのスケーリングのボトルネックの研究にも多大な労力を注いだ。AIのスケーリング則の研究も前進させてきた。

しかし、私たちの目標はAIの進歩そのものに貢献することではない。これらのプロジェクトに取り組むことを選ぶ際、私たちが優先しているのは、AIの行方についての社会の理解を深めるという使命である。

AIを前進させることが最終的に社会のためになるかどうかについては、私たちのスタッフの間でも、より広くAIコミュニティの間でも意見が分かれている。組織としては、この問いについてはっきりと中立の立場をとっている。主な目的がAIへの一般の理解を深めることであるかぎり、AIを前進させる（あるいは減速させる）プロジェクトにも引き続き取り組んでいく。

私たちはAI政策のシンクタンクではない

私たちは、英国科学・イノベーション・技術省をはじめ、世界中の政府機関と提携してきた。そして、各国政府がより賢明な政策を実施できるよう、AIの最先端について情報を届けることは、私たちの使命の重要な一部だと考えている。

しかし、組織として、AI政策に関して特定の立場を推し進めることはしない。スタッフはAIをどう扱うべきかについてそれぞれ（多様な）意見を持っているが、Epoch の役割は、一つの主張を押し出すことなく、AIについての信頼できるデータと証拠をすべての人に届けるという独自のサービスにあると考えている。

いつもどおりの厳密さと透明性の基準を守りながら、ある政策がもたらす帰結を指摘することはありうる。たとえば、計算量のしきい値による規制の影響を受ける開発者の数の推定を公表し、対象範囲を限定的に保つにはしきい値を引き上げる必要があると指摘することはあるかもしれない。また、スタッフには個人的な意見を述べることを勧めている。しかし、公式の政策提言をはっきりと打ち出すことはしない。

私たちは企業のインキュベーターではない

Epoch には、AIについてさまざまな意見を持つAIの専門家のチームがいる。スタッフの中には、AIについて何をすべきかについての大きく異なる信念を前提に、新しい組織を立ち上げた者もいる。

たとえば、Epoch の共同創設者 Marius Hobbhahn は Epoch を離れ、Apollo Research を設立した。策略的な振る舞い（スキーミング）、評価、制御、AIガバナンスを扱うAI安全性の組織である。より最近では、Epoch の共同創設者でアソシエイト・ディレクターの Tamay Besiroglu と他の3人の従業員が離れ、Mechanize を設立した。AIで業務タスクを自動化できるようにするためのデータづくりに取り組むスタートアップである。

こうした取り組みを育てることは Epoch AI の目的ではないが、スタッフが時に私たちの組織を超えた方向へ成長していくのは自然なことだと考えている。AIについて異なる信念を持つ人をスタッフに迎え、その道が私たちの使命と一致しているかぎりともに働き、一緒に仕事を続けることがもはや理にかなわなくなったら別々の道を行く。私たちはそのことを前向きに捉えている。

スタッフが Epoch 在籍中に行った仕事で収益を上げたいと望む場合は、私たちの使命を優先しつつ、公正な価格で取り決めを交渉することがある。

結びに

3年前に Epoch AI を立ち上げたとき、私たちは果たすべき重要な役割があると考えた。AIが急速に発展し、そこにかかっているものが大きくなっていくことを予見していた。何が起きているかを理解することが良い判断の鍵になると分かっていた。それなのに、こうしたトレンドを記録した公開の分析はほとんどなかった。

私たちはその空白を埋める組織になれると賭け、ここまで来られたことに満足している。これからもこの使命に向けて努力を続けていく。AIの行方について質の高い分析を行い、このきわめて重要な技術について私たち皆がより良い判断を下せるようにすることである。

Jaime Sevilla
ディレクター