スピードランと機械学習におけるべき乗則

概要

AIの未来を見通すには、必然的に性能の結果を見通す必要がある。理想的には、改善がどのような動きをするのかを理解したい。そうすれば、能力の出現に先回りして備え、突然の改善がどれほどありうるのかを理解できる。

しかし、この問題は難しいことで知られる。理由の一つは、機械学習のベンチマークでは性能の測り方にさまざまな指標が使われていることである。また、どの分野でも改善の歴史は限られており、最も長く続くベンチマークでも十数回ほどの改善しかない。

こうした問題を回避するため、私たちはSevilla (2021)にならい、ビデオゲームのスピードランを調べた。speedrun.comのデータを使い、世界記録の推移について以前から指摘されていた規則性を調べた。べき乗則のパターンに驚くほどよく当てはまるという規則性である。

この規則性を利用して、連続する記録更新の大きさを予測するランダム効果モデルを構築した。このモデルは、改善がないと予測するベースラインよりも有意に優れており、データセット全体に事後的に当てはめたモデルと同等の性能をもつことを示す。このモデルを、記録が更新される時期を予測する簡単なモデルと組み合わせることで、Sevilla (2021)の未解決問題を解いた。ある期間先までの新記録を予測する際に、改善がないと予測するベースラインを上回るという問題である。

データの豊富な環境でモデルを調べた後、より難しい機械学習のベンチマークの予測にモデルを適用した。長期にわたるデータがないため、機械学習のベンチマークの改善がべき乗則に従って減衰するという決定的な証拠を示すことはできなかった。それでも、一定の値を予測するベースラインよりは改善されることを示した。

べき乗則による減衰を仮定すると、このモデルは機械学習について二つの興味深いパターンを示唆する。

• 機械学習のベンチマークは飽和に近づいていない。改善のパターンは、ベンチマークが削減不能な損失に近づいたときに見られるはずのものよりも急激である。
• 突然の大きな改善はまれだが、ありえないわけではない。モデルによれば、最近の改善より1桁以上大きい改善は、50回に1回起きる。

全体として、この調査はAI予測の二つの重要な問いについて暫定的な証拠を示し、機械学習やほかの分野での記録の推移についてさらに研究するための土台を築くものである。

論文はこちらで読める。

論文について議論し、支援してくれたTamay BesirogluをはじめとするEpoch AIの皆に感謝する。