レポート
変革的人工知能の到来時期についての文献レビュー
原題：Literature review of transformative artificial intelligence timelines
関連する過去の記事：「Forecasting TAI with biological anchors」を読み解く、「Semi-informative priors over AI timelines」を読み解く
要点
- このレビューでは、外部視点と内部視点の両方を含む定量的なモデルと、専門家（またはそのチーム）の判断にもとづく予測を取り上げる。
- 結論を必ずしも支持するわけではないが、Epoch AI のチームが最も説得力があると考えた内部視点のモデルは Ajeya Cotra の「Forecasting TAI with biological anchors」だった。外部視点のモデルで最も評価が高かったのは Tom Davidson の「Semi-informative priors over AI timelines」、判断にもとづく予測で最も評価が高かったのは Samotsvety の AGI タイムライン予測である。
- 私たちがレビューした内部視点のモデルは短めのタイムラインを予測した（たとえば生物学的アンカーの中央値は2052年）。一方、外部視点のモデルは長めのタイムラインを予測した（たとえば半情報事前分布の中央値は2100年より後）。判断にもとづく予測は内部視点のモデルと一致する方向に偏っており、しばしばそれより強気である（たとえば Samotsvety の中央値は2043年）。
はじめに
この数年、変革的な、あるいは汎用の人工知能（TAI/AGI）の到来を定量的に予測しようとする試みが、まったく異なる手法と仮定のもとで数多く行われてきた。これらのモデルを把握し、その相対的な長所を評価するのは、この分野に詳しくない読者には骨の折れる作業になりうる。そこで、このレビューの目的は次のとおりである。
- 影響力のあるタイムライン推定を比較的網羅的に集め、さまざまなモデルの手法の概要を簡潔に示す。読者がそれをもとに、どれが最も説得力があるかを十分な情報にもとづいて判断できるようにする。
- 各モデル・予測による到来時期の分布を簡潔に要約する。
- これらのモデル・予測に対する Epoch AI 内部の主観的な重みを集約して示す。この重みは、チームメンバーが「すべてを考慮したうえで」持っているタイムラインを必ずしも反映するものではない。むしろ、各モデルの相対的な信頼性について私たちがどう考えているかを伝えることを目的としている。
内部の重みを集約するにあたり、タイムラインを「モデルにもとづく」ものと「判断にもとづく」ものに分けた。モデルにもとづくタイムラインは、明示的なモデルの出力として得られるものである。これに対して判断にもとづくタイムラインは、予測市場などでの集団の予測を集約したものか、著名な個人のタイムラインである。このように分けるのは、この二つの区分がそれぞれおおよそ「事前分布を形成する」予測と「事後分布を形成する」予測に対応するからである。
どちらの場合も、Epoch AI のチームメンバー一人ひとりから、次のことを反映した主観的確率を聞き取った。
- モデルの仮定と手法が本質的に正確である可能性がどれだけ高いと考えるか
- ある予測者（または予測者の集団）がこの問題についてどれだけ較正（キャリブレーション）されていそうか
前者がモデルにもとづくもの、後者が判断にもとづくものについての確率である。重みは正規化し、チーム全体で線形に集約して、まとめの確率を得た。これらの数値を正確な確信度として文字どおりに解釈しすぎてはならない。むしろ、各モデル・予測の「相対的な信頼性」をチームがどう見ているかの大まかな近似と考えたほうがよい。
注意点
- すべてのモデル・報告書が AGI/TAI を同じ形で操作的に定義しているわけではない。集約したタイムラインは少しずつ異なるものを予測していることになるので、なおさら割り引いて受け取るべきである。
- 以下に含めたモデル・予測のすべてが、ここで要約する時点ごとの値（年ごとの累積分布関数（CDF）や分位点）を明示的に予測しているわけではない。その場合は、示されている明示的なデータ点にもとづいて、できる限り補間した。
- より詳しく説明されていて、確率的な要約に向いているモデルと予測を収録した。そのため、Daniel Kokotajlo の予測のように説明の少ないものや、David Roodman の Modelling the Human Trajectory のように影響力はあるが明示的な予測を含まない研究は扱わない。
結果
モデルにもとづく予測
回答者ごとの重みと、その集約の根拠については付録を参照。
（斜体の値は、既知の値に当てはめたガンマ分布から補間したものである。この外挿には主観的な要素が大きく含まれており、回答者の考えをいくつかの重要な点で正しくとらえていないと予想される点に注意してほしい。）
判断にもとづく予測
回答者ごとの重みと、その集約の根拠については付録を参照。
（斜体の値は、既知の値に当てはめたガンマ分布から補間したものである。この外挿には主観的な要素が大きく含まれており、回答者の考えをいくつかの重要な点で正しくとらえていないと予想される点に注意してほしい。）
| タイムライン | …年までにTAI/AGIが実現する確率 | 分位点 | 主観的な重み1 | |||||||
|---|---|---|---|---|---|---|---|---|---|---|
| 2030 | 2050 | 2100 | 10% | 中央値 | 90% | |||||
| モデルにもとづく予測 | ||||||||||
| Ajeya Cotra の生物学的アンカー | 8% | 47% | 78% | 2031 | 2052 | >2100 | 0.50 | |||
| 半情報事前分布 | 6% | 11% | 20% | 2044 | >2100 | >2100 | 0.28 | |||
| 洞察にもとづくモデル | 4% | 8% | 15% | 2060 | >3000 | >3000 | 0.03 | |||
| 全脳エミュレーション | 1% | 25% | 88% | 2047 | 2064 | >2100 | 0.03 | |||
| 相転移とAGI | 3% | 8% | 21% | 2042 | >2100 | >3100 | 0.16 | |||
| 確率の加重 線形平均 | 8% | 27% | 54% | 2032 | 2089 | 3022 | ||||
| 判断にもとづく予測 | ||||||||||
| AI Impacts の調査（2022年） | 12% | 40% | 74% | 2029 | 2059 | 2148 | 0.08 | |||
| Metaculus | 29% | 63% | 83% | 2025 | 2039 | 2193 | 0.23 | |||
| Samotsvety の報告 | 28% | 60% | 89% | 2024 | 2043 | 2104 | 0.40 | |||
| Ajeya Cotra | 15% | 60% | 97% | 2026 | 2040 | 2077 | 0.17 | |||
| Holden Karnofsky | 24% | 44% | 67% | 2024 | 2060 | 2241 | 0.12 | |||
| オッズの加重 幾何平均 | 25% | 57% | 88% | 2025 | 2045 | 2107 | ||||
各平均の計算に使う重み：
モデルにもとづく予測：
判断にもとづく予測：
モデルにもとづく予測
モデルにもとづく予測では、TAI/AGI の到来時期について明示的なモデルを定め、そのパラメータを推定する。大まかには「内部視点」のモデルと「外部視点」のモデルに分けられる。前者は計算資源やアルゴリズムの進歩などについてのより細かなデータを考慮に入れ、後者はより大局的な基準率に注目する。
Forecasting TAI with biological anchors（内部視点）
| …年までにTAI/AGIが実現する確率 | ||
|---|---|---|
| 2030 | 2050 | 2100 |
| 8% | 47% | 78% |
| 分位点 | ||
|---|---|---|
| 10% | 中央値 | 90% |
| 2031 | 2052 | >2100 |
この報告書のアプローチは、自然界で汎用知能を生み出すのに要した計算量を手がかりにし、経済的なトレンドを外挿して、同等の計算資源で現代のモデルを学習させることがいつ実現可能になるかを推定することで、TAI のタイムラインを予測するものである。モデルへの主な入力は次のとおり。
- 必要な計算量の基準とする「生物学的アンカー」の選択。これには、人間の一生の間に脳で行われる計算、人間の脳を生み出すために進化が行った計算の総量、人間の脳やゲノムのパラメータ数などがある。モデルの規模に関わる生物学的アンカー（たとえば人間の脳）については、そうしたモデルを効果的に学習させるのに必要な総計算量を推定するため、さまざまな「有効ホライズン」（大まかに言えば、モデルが1回の順伝播ごとにどれだけ考えなければならないか）も検討している。
- 将来利用できる計算資源の推定。（1）の計算量の要件が経済的に実現可能になる時期を評価するためのものである。この推定自体は主に三つの要素に分解される。（a）アルゴリズムの進歩の速さ、つまり学習の計算効率、（b）ハードウェア・計算資源のコストの低下、（c）機械学習モデルの学習のための計算資源に、より多くを支出しようとする意欲の高まり。
総計算量の要件の推定値は非常に幅が広く、何桁にもわたる（たとえば、人間の一生のアンカーの下限の 10^24 から、進化のアンカーの上限の 10^52 まで）。アプローチが異なり、各アプローチの中にも不確実性の源があることを考えれば当然である。報告書はこれらのさまざまなモデルに重みをつけて計算量の要件の全体的な分布を求め、それを経済的な推定と組み合わせて、TAI の到来時期としてありうる範囲を示している。
Semi-informative priors over AI timelines（外部視点）
| …年までにTAI/AGIが実現する確率 | ||
|---|---|---|
| 2030 | 2050 | 2100 |
| 6% | 11% | 20% |
| 分位点 | ||
|---|---|---|
| 10% | 中央値 | 90% |
| 2044 | >2100 | >2100 |
このアプローチは、AIの予測に極めて「外部視点」的な方法をとる。実質的に問うているのは、次の情報だけが与えられたとき、ある年までに TAI が実現する確率をどう見積もるべきか、ということである。（a）AIに向けた研究がまさに始まった時点で持つであろう、タイムラインについての妥当な事前分布、（b）その後のAI研究への投入量（計算資源、研究者の労働時間など）の推移についての知識、（c）AIがまだ実現していないという事実。
具体的に、著者は P(2036年までにAI | 2020年までにAIなし) の推定を中心に据え、ラプラスの継起の法則の一般化を考えることで問題をモデル化している。継起の法則とは、過去の試行とその成功についてのデータから、ある試行が成功する確率を推定する公式である。ここではAI研究を、AIを作ろうとする一連の「試行」とみなし、そのどれもがこれまで失敗してきたと考える。著者は、ラプラスの法則を特殊な場合として含む一群の更新規則の効果を調べている。問題についての常識的な理解（たとえば、AIの実現に成功する最初の「初回試行確率」はラプラスの法則が示すような0.5であるべきではない、適切な参照クラス、など）にもとづいて適切な更新規則を選ぶことで、AIのタイムラインについての「半情報事前分布」の範囲が得られる。さらに、半情報事前分布を与える更新規則の候補の集合があれば、それらのモデルに超事前分布を置き、試行を観測するにつれてモデルへの重みを更新できる。
更新規則の選択のほかに、モデルのばらつきの主な源としては次のようなものがあり、著者はそれぞれに対するモデルの感度を調べている。
- 観測期間の「開始日」の選択。著者が論じる自然な選択は、人工知能という分野が誕生したと広く認められている1956年だが、ほかにももっともらしい候補があり、著者はこうした選択に対するモデルの感度を調べている。
- 「試行」の定義。TAI の作成の失敗を、暦年ごとに観測しているとみなすべきか。月ごとか。研究者1人年ごとか。
- 「初回試行」確率の選択。AI研究の開始時点で、すぐに成功する事前確率はどれくらいであるべきだったか。
Insight-based AI timelines model（外部視点）
| …年までにTAI/AGIが実現する確率 | ||
|---|---|---|
| 2030 | 2050 | 2100 |
| 4% | 8% | 15% |
| 分位点 | ||
|---|---|---|
| 10% | 中央値 | 90% |
| 2060 | >3000 | >3000 |
このアプローチではまず、AIに必要な洞察・発見のうち、これまでにどれだけの割合が達成されたかについて分布を置く。そのうえで、洞察が時間とともに線形に積み重なると仮定して、AIの到来時期のCDFを外挿する。ユーザーは、洞察にもとづくAIへの現在の進捗についての事前分布を自分で正確に指定するか、パレート分布を使うことができる。著者らは、少なくとも LSTM と同程度に重要とみなされる発見の過去のデータを調べ、1945年以降のデータに線形回帰を当てはめることで、洞察の発見の線形な進み方を推定している。このモデル化のアプローチでの主な不確実性と感度の源は次のとおりである。
- 洞察の進捗についての事前分布の選択。CDFは、AIに必要と仮定する洞察の数と、選んだパレート分布のパラメータの両方に敏感である。
- 線形性の仮定はこのモデルの要であり、この仮定を疑うもっともな理由がある。これまでの洞察で「手の届きやすい果実」を摘んできたのであれば、この仮定は楽観的だと考えられる。逆に、研究への投資や研究の効率が高まって発見のプロセスが速まると考えるなら、悲観的だと考えられる。
全脳エミュレーション（内部視点）
| …年までにTAI/AGIが実現する確率 | ||
|---|---|---|
| 2030 | 2050 | 2100 |
| 1% | 25% | 88% |
| 分位点 | ||
|---|---|---|
| 10% | 中央値 | 90% |
| 2047 | 2064 | >2100 |
このモデルは TAI の到来時期を明示的にはモデル化せず、代わりに、人間の脳全体を高い忠実度でモデル化することがいつ実現可能になるかのタイムラインを見ている。人間は汎用知能なので、十分に安価な全脳エミュレーション（WBE）は、経済的な生産性を一変させる源になるだろう。この論文は、問題を次の四つの問いに分解して WBE 技術の到来時期をモデル化している。
- WBE を動かすのに十分なハードウェア・計算資源が手に入るのはいつか。
- そうした計算資源をまかなえるだけの資金を持つプロジェクトが現れるのはいつか。
- 人間の脳を十分な解像度でスキャンできるようになるのはいつか。
- そうしたスキャンから WBE を解釈・実行できるほど神経科学の理解が進むのはいつか。
著者は、過去のデータと著者自身の事前分布を組み合わせて、上の変数にパラメトリックモデルを当てはめている。そのうえでモンテカルロ・シミュレーションを使い、WBE に必要な構成要素の到来時期の最大値をとるものとして WBE の到来時期をモデル化する。つまり、最後の重要な要素がそろった時点で WBE が実現する。このモデルでの主な不確実性・感度の源は次のとおりである。
- 構成要素の到来は互いに独立にモデル化されているが、モデルにはおそらく何らかの相関や内生性がある。たとえば、スキャン技術が急速に進歩すれば、神経科学の進歩もおそらく加速する。
- 構成要素の到来時期は、著者の非常に主観的な確率分布に従うものとされており、WBE の到来の全体的なCDFは、こうした選択のいくつかに非常に敏感である。
また、この論文を TAI のタイムライン全体と結びつけるのも難しい。手頃な費用の WBE は TAI の必要条件ではないからだ。このアプローチは、機械学習など他の方法がうまくいかないか非常に遅い場合を条件とした、TAI の到来時期の上限を与えるものと考えたほうがよいかもしれない。ただし、この解釈にも問題がある。WBE の進歩はおそらく機械学習の進歩と独立ではないからだ。つまり、別の道筋で TAI が実現すれば、WBE を開発する経済的な動機は小さくなる。
Phase Transitions and AGI（外部視点）
| …年までにTAI/AGIが実現する確率 | ||
|---|---|---|
| 2030 | 2050 | 2100 |
| 3% | 8% | 21% |
| 分位点 | ||
|---|---|---|
| 10% | 中央値 | 90% |
| 2042 | >2100 | >3100 |
このモデルも外部視点のアプローチをとり、新しく大幅に優れた経済生産の様式への質的な「相転移」がいつ起こると予想されるかを見ている。このモデルは、相転移の歴史上の頻度と、各相転移の間に経済が何回倍増したかを調べた Robin Hanson の研究を土台にしている。これを使って、次の相転移までに経済があと何回倍増すると予想されるかの分布をモデル化する。このアプローチでの主なばらつき・不確実性の源は次のとおりである。
- 相転移の到来時期をモデル化する分布の選択。たとえばこの記事では、待ち時間を指数分布とする場合とパレート分布とする場合の違いを検討しており、後者では裾が厚いため、予想される待ち時間がはるかに長くなる。
- 次の相転移がいつ起こりうるかの分布が得られても、それをAIのタイムラインの分布に変換するには内部視点の仮定が必要になる。たとえば、次の相転移が TAI によって引き起こされる、あるいはまもなく TAI につながる確率を推定する、といった仮定である。
判断にもとづく予測
判断にもとづく予測とは、明示的なモデルを使わずに個人または集団が予測を示す、主観的なタイムラインである。予測の入力としてモデルにもとづくタイムラインを取り込んでいる場合もあり、モデルにもとづく予測よりも「すべてを考慮した」予測としての性格が強いと見るべきである。主に専門家や予測者の集約されたタイムラインを収録しているが、個人のタイムラインでも、明示的で、かつ影響力のあるものは含めた。
AI Impacts の調査（2022年）
| …年までにTAI/AGIが実現する確率 | ||
|---|---|---|
| 2030 | 2050 | 2100 |
| 12% | 40% | 74% |
| 分位点 | ||
|---|---|---|
| 10% | 中央値 | 90% |
| 2029 | 2059 | 2148 |
AI Impacts はAI開発のトレンドを研究している。2021年に NeurIPS または ICML（AIの主要な国際会議）で論文を発表した研究者738人が、AIの到来時期からさまざまな職業へのAIの予想される影響まで、AIについての多くの質問について予測を示した。なお、この調査は当初4271人の研究者に送られており、回答率は17%だった。そのため、これらの数字には何らかの標本の偏りがあるかもしれない。たとえば、強気なタイムラインを持つ研究者ほど、こうした調査に回答しやすい場合などである。
Metaculus：汎用人工知能の実現時期（2022年10月11日時点）
| …年までにTAI/AGIが実現する確率 | ||
|---|---|---|
| 2030 | 2050 | 2100 |
| 29% | 63% | 83% |
| 分位点 | ||
|---|---|---|
| 10% | 中央値 | 90% |
| 2025 | 2039 | 2193 |
Metaculus は、さまざまな予測の質問についてユーザーの予測を集約するプラットフォームで、AI開発についての質問も数多くある。これまで Metaculus の予測者の成績は優れていた（https://www.metaculus.com/questions/track-record/）。しかし、明らかな理由から、長期的なAIの予測に限ったユーザーの精度ははっきりしない。執筆時点で、この予測には314人の予測者の予測が集約されている。
Samotsvety の AGI タイムライン予測
| …年までにTAI/AGIが実現する確率 | ||
|---|---|---|
| 2030 | 2050 | 2100 |
| 28% | 60% | 89% |
| 分位点 | ||
|---|---|---|
| 10% | 中央値 | 90% |
| 2024 | 2043 | 2104 |
Samotsvety は、Metaculus やさまざまな予測コンテストで優れた成績を上げたことで選ばれた予測者のチームである。その実績はこちらで見られる。チームの8人が、「さまざまな分野の専門家に相談できる上位5%の人間を相手に、敵対的チューリングテストに合格できるシステムが開発される」時期について予測を提出した。
注：この報告書は当初、Samotsvety のタイムラインの最新の更新より前に公開された。すべての数値は新しい予測を反映するよう更新したが、読者の関心を引くかもしれない点として、ここで示されるタイムラインは元の Samotsvety の報告（2022年9月を参照）よりかなり短い。更新された投稿ではいくつかの理由が詳しく説明されているが、大きな要因は、外部視点のモデルから内部視点のモデルへの全体的な移行であるようだ。先に述べたように、後者のほうが強気なタイムラインになりやすい。
注：ここに示す数値は、Samotsvety の投稿に記載された集約値とわずかに異なる。この付録で説明するのと同様の手順で、個々の予測それぞれにCDFを当てはめ、オッズの幾何平均を使って組み合わせた。その手順の実装はこちらで見られる。
Two-year update on my personal AI timelines
| …年までにTAI/AGIが実現する確率 | ||
|---|---|---|
| 2030 | 2050 | 2100 |
| 15% | 60% | 97% |
| 分位点 | ||
|---|---|---|
| 10% | 中央値 | 90% |
| 2026 | 2040 | 2077 |
これは、上で取り上げた生物学的アンカーのモデルの著者である Ajeya Cotra による予測である。ここで彼女は、（a）何をもって TAI とみなすかの見積もりを引き下げたこと、深層学習のスケーリングで TAI に到達する確率が高まったこと、などの要因を受けて更新したタイムラインを論じている。その結果のタイムラインは、最初の生物学的アンカーの報告書で示した当初の結論より短いが、同じモデルから導かれている。そのため、この2つ目の報告書を受けて読者が考えをどれだけ更新するかは、主に（a）そもそもこのモデルにどれだけ重みを置いていたか、（b）Cotra が更新の根拠にしている証拠を、読者が彼女の最初のモデル化の時点ですでにどの程度織り込んでいたか、によって決まるだろう。
Forecasting transformative AI: what’s the burden of proof?
| …年までにTAI/AGIが実現する確率 | ||
|---|---|---|
| 2030 | 2050 | 2100 |
| 24% | 44% | 67% |
| 分位点 | ||
|---|---|---|
| 10% | 中央値 | 90% |
| 2024 | 2060 | 2241 |
Holden Karnofsky は、上で取り上げたモデルのいくつかを踏まえ、AIのタイムラインについての自分の考えを説明する短い連載記事を書いている。Karnofsky の結論はこうだ。「15年以内（2036年まで）に…『変革的AI』が現れる確率は10%を超え、40年以内（2060年まで）に現れる確率は約50%、今世紀中（2100年まで）に現れる確率は約3分の2だと思う」。タイムラインは示されているものの、この記事はタイムラインを明示的にモデル化することよりも、長期的なAIのトレンドをモデル化・予測することがどれだけ実り多く、扱いやすいかをめぐる「メタレベル」の議論に重点を置いている。
注：外挿を行うにあたり、明示的に示された2点（2060年と2100年）に付録で説明する方法で当てはめを行い、2036年について示された確率は無視した。この外挿では著者の考えのいくつかの重要な側面がとらえられていないと思われるので、その点に注意してほしい。
結論
これらの予測には、タイムラインをモデル化する根本的に異なるアプローチがいくつもある。改めて強調しておきたいのは、この記事の目的が評価ではなく記述にあること、そして主に、読者がさまざまなアプローチと予測に親しむための出発点・まとまった情報源になることにある、という点だ。
とはいえ、この一連の予測からは、いくつかの注目すべき教訓が得られる。
- モデルにもとづく予測どうしでタイムラインが大きく異なるため、集約したタイムラインは主観的な重みに敏感であり、集約の手法の選択にはさらに敏感である。そのため、これらはかなり割り引いて受け取るべきだ。判断にもとづくタイムラインの集約では、ばらつきが小さく裾も重くないため、この影響はそれほど目立たない。
- モデルにもとづく予測の中では、内部視点のモデルのほうが外部視点のモデルより強気である。これは主に、外部視点のモデルが与える裾がずっと重く、数世紀先の到来時期にもかなりの確率質量を置いていることによる。実際には、これはおそらく、TAI/AGI の出現にまだ予見されていない飛躍的進歩がいくつも必要になる未来に対応している。これに対して内部視点のモデルは、現在理解されている入力の進歩を外挿している。
- 判断にもとづく予測は、それよりさらに強気になる傾向がある。ここから、人々がすべてを考慮したうえで持つタイムラインは、ここで取り上げたどの明示的なモデルにも含まれていない多くの情報や推論に影響されていると考えられる。ここでのタイムラインが食い違う理由が、（a）モデルの手法にほとんど（あるいはまったく）重みを置いていないからなのか、（b）推論はもっともだと考えつつも入力パラメータが異なる（たとえば生物学的アンカーのモデルの場合）からなのかは、はっきりしない。とはいえ、判断にもとづく予測の大半は、外部視点よりも、最近の機械学習の進歩と研究への投入量のトレンドにもとづく内部視点をとっている可能性が高く、そう考えれば差の多くを説明できる。
- Epoch AI がより高く評価したモデルと予測は、Ajeya Cotra の生物学的アンカーと、Samotsvety の AGI タイムライン予測である。チーム内では、外部視点と内部視点のモデルに等しく重みを置く人と、内部視点のモデルにより大きな重みを置く人とに分かれている。
今後、重要な新しいモデルや予測が出てきたら、この記事を見直して更新したいと考えている。
この記事にコメントをくれた Zach Stein-Perlman、Misha Yagudin、Ben Cottier の各氏と Epoch AI チームのほかのメンバーに感謝する。各予測の相対的な重みについて推測を寄せてくれた Epoch AI のチームには、特に感謝する。
付録：個人ごとの重み、外挿と集約
Epoch AI のスタッフに、各モデル・予測の相対的な信頼性を数値で表す主観的な重みを示してもらった。
各モデル・予測について、重みを線形に集約した。回答者間で見られた重みのパターンについてのコメントを以下に示す。
| Ajeya Cotra の生物学的アンカー | 半情報事前分布 | 洞察にもとづくモデル | 全脳エミュレーション | 相転移 | |
|---|---|---|---|---|---|
| 回答者1 | 0.76 | 0.15 | 0 | 0.02 | 0.08 |
| 回答者2 | 0.42 | 0.5 | 0.02 | 0.02 | 0.04 |
| 回答者3 | 0.83 | 0.08 | 0 | 0 | 0.08 |
| 回答者4 | 0.40 | 0.40 | 0.01 | 0.01 | 0.18 |
| 回答者5 | 0.14 | 0.43 | 0.07 | 0.07 | 0.29 |
| 回答者6 | 0.68 | 0.14 | 0.01 | 0.03 | 0.14 |
| 回答者7 | 0.49 | 0.20 | 0.15 | 0.01 | 0.15 |
| 回答者8 | 0.46 | 0.30 | 0.02 | 0.04 | 0.18 |
| 平均 | 0.50 | 0.28 | 0.03 | 0.03 | 0.16 |
| AI Impacts の調査（2022年） | Metaculus | Samotsvety の報告 | Ajeya Cotra | Holden Karnofsky | |
|---|---|---|---|---|---|
| 回答者1 | 0.04 | 0.16 | 0.55 | 0.15 | 0.10 |
| 回答者2 | 0.01 | 0.27 | 0.54 | 0.09 | 0.09 |
| 回答者3 | 0.06 | 0.18 | 0.24 | 0.47 | 0.06 |
| 回答者4 | 0.05 | 0.15 | 0.25 | 0.3 | 0.25 |
| 回答者5 | 0.03 | 0.34 | 0.47 | 0.05 | 0.11 |
| 回答者6 | 0.14 | 0.14 | 0.29 | 0.21 | 0.21 |
| 回答者7 | 0.18 | 0.4 | 0.35 | 0.05 | 0.02 |
| 回答者8 | 0.11 | 0.24 | 0.48 | 0.07 | 0.10 |
| 平均 | 0.08 | 0.23 | 0.40 | 0.17 | 0.12 |
次に、これらの平均の重みを使って、さまざまなモデルと予測を組み合わせる。
各モデル・予測について、既知の「年と到来確率」の組にガンマ分布を当てはめる。これによってCDFが得られ、ほかの補間したCDFとあわせて、予測を一つの集約されたCDFにまとめることができる（これは、AI Impacts が2022年の専門家調査で回答者の考えを外挿するのに使ったのと同じ手順である）。この外挿には主観的な要素が大きく含まれており、回答者の考えをいくつかの重要な点で正しくとらえていないと予想される点に注意してほしい。
モデルにもとづく予測については、CDFの加重線形平均を使ってモデルを集約する。各モデルは異なる仮定から出発するので、確率は P(TAI) = P(モデル1の仮定) x P(TAI | モデル1の仮定)+ … + P(モデルNの仮定) x P(TAI | モデルNの仮定) と分解できる。ここで、各モデルに割り当てた重みを、その仮定に置くべき確信度の代わりとして使う。
判断にもとづく予測を集約するときは、オッズの幾何平均の加重・連続版を使う。この場合は専門家がすべてを考慮したうえで出した予測を集約しているので、予測のベストプラクティスに従って情報を集約するほうが理にかなっている。
上で説明した手順を実装したノートブックはこちらにある。
重みについてのコメント
モデルにもとづく予測：
すべての回答者が、生物学的アンカーと半情報事前分布の二つを合わせて重みの過半を与えた。相対的な重みの主な違いは、回答者がこの問いに対して内部視点と外部視点のどちらのアプローチをどれだけ強く好むかにあった。全体として、回答者は内部視点をとるアプローチを好んだ。ただし WBE のモデルには低い重みしか与えなかった。現在のAIの進歩が脳のエミュレーションとほとんど関係がないこと、そして、その後の実績で裏づけられていない計算資源の予測に依拠していることが理由である。
判断にもとづく予測：
チームから最も大きな重みを受けたのは Samotsvety の報告で、回答者は全員一致で高く評価した。Metaculus のコンセンサスも同様に、総じてかなり高い重みを受けた。どちらも、Epoch AI の回答者の大半がこの二つの情報源をよく知っており、その予測能力を比較的高く信頼していたことの反映である。AI研究者全般のコンセンサスへの重みについては、意見がかなり大きく分かれた。その一部は、回答者が手法をどう評価したかの違いで説明できる（これは任意参加の調査による唯一の予測である）。このレビューに含めた個人の予測も、回答者によってさまざまな重みを与えられた。たとえば、Cotra 個人のタイムラインへの重みは、生物学的アンカーのモデルへの重みと相関する傾向があった。