良いヒューリスティックスの開発

ニューラルネット(そしてLLMや現代のAIエージェント)は非常に複雑である。アーキテクチャとパラメータを完全に知っていたとしても、それが何をしているのか、どのようにタスクを成し遂げているのかを理解するのは非常に難しい。そのため、世界に影響を及ぼす力を持った強力なAIシステムが、破滅的な害を引き起こすのではないかという懸念がある。これにどう対処すればよいだろうか。

1つのアプローチは、証明の代わりに──さらには理解の代わりに──良いヒューリスティックス(heuristics)を開発しようとすることである。これは数学ではいつも起きていることだ。私たちは「ジェネリックな挙動(generic behaviour)」がどうあるべきかの感覚を養い、そうでないと考えさせる構造的性質がない限り、個別の事例でもそれが成り立つと予想する。ヒューリスティックスをより深く理解できれば、それをAIシステムに、すなわち特定のシステムが破滅を引き起こすかどうかという問いに適用できるだろう。

ARC はこれの定式化を試みてきた。2つの重要な構成要素が、「構造」という概念の定式化と、「ジェネリックな挙動」の検出をそれぞれ担っている。

隠れた構造の検出: 偶然の一致禁止予想

隠れた構造という概念を厳密にするため、ARCは「偶然の一致禁止予想(no-coincidence conjecture)」の定式化を試みてきた。これは、十分に起こりそうにない偶然の一致には構造的な説明があるはずだ、というヒューリスティックの精神に沿うものである。念頭に置くとよい例が双子素数予想だ。これは、素数を密度 $1/\log(n)$ のランダムな集合であるかのように見なすことで、ヒューリスティックに正当化される。ARCによる定式化の試みは以下のとおりである。ARCの A computational no-coincidence principle を参照。

予想 (ARCの計算論的な偶然の一致禁止予想)。 $C : \{0,1\}^{3n} \to \{0,1\}^{3n}$ を可逆回路(reversible circuit)とする。$P(C)$ を次の意味で定義する: 末尾が $n$ 個のゼロで終わる入力 $x$ であって、$C(x)$ の末尾も $n$ 個のゼロで終わるようなものは存在しない。

このとき、対 $(C, \pi)$ を入力として受け取る多項式時間の検証プログラム $V$ が存在して、次を満たす:

• 完全性(Completeness): $P(C)$ が成り立つならば、ある多項式長の助言文字列(advice string) $\pi$ によって $V(C, \pi) = 1$ となる。
• ランダム回路健全性(Random-circuit soundness): ランダムな可逆回路 $C$ の99%については、どのような助言文字列 $\pi$ をとっても $V(C, \pi) = 1$ とはならない。

いくつか注意を述べる:

1. おもちゃのAIセーフティ応用としては、$C$ をAIシステム、$P(C)$ を「破滅は起きない」という性質を表すものと想像すればよい。ここで破滅は、末尾が $n$ 個のゼロで終わる入力 $x$ で、$C(x)$ の末尾も $n$ 個のゼロで終わるものによって表現されている。このような $V$ があれば、確実とまではいかなくとも、$C$ が破滅につながらないことにそれなりの確信を持てる、というのが狙いである。
2. 99%を100%に置き換えると、この予想は NP = co-NP と同値になる。概略はこうだ: $P(C)$ は本質的に co-NP完全問題であり、$\pi$ は $V$ が多項式時間で検査する証明書(certificate)である。
3. $V$ は「$P(C)$ が成り立つかどうかを評価しようとしている人間」、$\pi$ は「ヒューリスティックな論証」と考えるとよい。この予想が述べているのは、真な言明にはすべて、それを支持する短い説得力のある論証があり、偽な言明の大部分にはない、ということである。
4. これが成り立たないかもしれないと考えるヒューリスティックな理由は、少なくとも2つある。真な言明の中に短いヒューリスティックな論証を持たないものがあるかもしれないし、逆に──偽な言明も含めた──あらゆる言明に、短い説得力のあるヒューリスティックな論証が存在してしまうかもしれない。後者はありそうにないと思えるかもしれないが、「ペアノ算術が矛盾している」ことの短いヒューリスティックな論証が存在する可能性を考えてみてほしい。それがあれば、どんな言明についても説得力のある論証が簡単に得られてしまうのだ!

先行する関連研究については Formalizing the presumption of independence を参照。大規模ニューラルネットを直接扱うバージョンについては Wide Neural Networks as a Baseline for the Computational No-Coincidence Conjecture も参照。

ジェネリックな挙動の推定: マッチング・サンプリング原理

AIシステムのジェネリックな挙動を理解するとは、どういうことだろうか。手軽な代理指標としては、AIシステム $M$ を、ある分布 $D$ からサンプリングされた入力 $x$ を出力 $y$ に写す関数と見なし、$f(M(x))$ の期待値を問う、というものがある。$f$ は、破滅のリスク、あるいは特定の安全機構が満たされないリスクを測るものと想像すればよい。

これを計算する最も素朴な方法は、単純にランダムサンプリングすることである。ARCのマッチング・サンプリング原理(Matching Sampling Principle, MSP)プログラムは、それを上回ることを目指す。任意の $M$ に対して、少なくともサンプリングと同等のことができるか、と問うのである。まず、偶然の一致禁止予想の流儀で隠れた構造を検出し、それを助言文字列 $\pi$ として記録する。次に、推定器(estimator)が $E_{x \sim D}[f(M_\theta(x))]$ を評価する。

読みやすい解説としては ARC's outperforming random sampling explained を参照。そこではMSPは、構造的な説明を用いて、直接のランダムサンプリングに少なくとも劣らない精度でモデルの挙動を推定しようとする試みとして位置づけられている。

定式化。 訓練済みモデルを $M_\theta$ と書く。$M$ はアーキテクチャ、$\theta$ は学習されたパラメータベクトルである。説明ないし助言文字列 $\pi$ は $M_\theta$ の中の有用な構造を記述し、推定器は $G_M(\theta, \pi, \varepsilon)$ と書けるだろう。ここで $\varepsilon$ は要求される誤差許容度である。期待されるのは、推定器が $f(M_\theta)$ の期待値を $\varepsilon$ 以内で近似し、かつサンプリングと同程度の時間で走ることである。

この定式化には問題がある。$\pi$ は単に答えを記録してしまえるのだ。そこで形式版では、さらに文脈パラメータ $c$ を追加してモデルを $M_{c,\theta}$ とパラメータ化し、$\pi$ が $c$ に依存しないことを要求する。その代わり、結論はジェネリックな $c$ についてのみ要求する。言い換えれば、$E_c[(G_M(\theta,c,\pi,\varepsilon) - E_{x \sim D}[f(M_{c,\theta}(x))])^2]$ がサンプリングに匹敵すればよい。狙いは、$G_M$ が機構的に(mechanistically)走ることである──これは厳密さを欠く概念だが、それでも有用な道標に思える。そこには、アーキテクチャの構造について何かを理解することが含まれるはずだ。

良い例が、Formalizing the presumption of independence の付録Dにあるキュムラント伝播(Cumulant Propagation)である。基本のアイデアは平均の伝播だ。ニューラルネットや回路の入力ノードを独立なガウス分布と見なし、その平均だけを記録する。各ステップで、2つのノードを足すときは平均同士を足し、掛けるときは平均同士を掛ける。平均だけでなく、分散と、すべてのノード対の間の共分散も追跡すれば、これを改善できる。キュムラントは、おおよそ確率変数間の $k$ 次の相互作用を検出するものであり、より高次のキュムラントをゼロと仮定して、$k$ 次のキュムラントだけを伝播させることができる。これは、ランダムな幅広ニューラルネットワークなどのケースで、経験的に良い性能を示す。