Earthborne Rangers (EBR-bench)｜Epoch AI 日本語版

AIシステムの学習能力のテスト。比較的知名度の低いゲームEarthborne Rangersを繰り返しプレイするうちに、スコアが向上するかを測る。

概要

全体像

EBR-benchは、不慣れで複雑なタスクに繰り返し取り組み、メモを取ることで、AIシステムが上達できるかを評価する。これは、より広い意味での「仕事をしながら学ぶ」能力の代理指標である。モデルは、キャンペーン形式のボードゲームEarthborne Rangersを繰り返しプレイする。プレイヤーが荒野を探索し、障害を乗り越えながら目標を追うゲームである。

このゲームを選んだ理由は三つある。比較的知名度が低いので、モデルが学習中にゲームを記憶してしまった可能性は低い。ほぼ全面的にカードで進行し、空間的な推論はほとんど必要ないので、マルチモーダルな推論の弱さが足かせにならない。そして、戦略と戦術（デッキ構築と一手ごとのプレイ）を重層的に組み合わせることが、長い時間軸にわたって求められる。私たちが評価する部分を経験のある人間が1回プレイするのに2〜4時間かかり、ゲームを極めるには数十回のプレイが必要なこともある。

初期の実験では、経験から学んでいる証拠はほとんど見られなかった。プレイを繰り返してもスコアはほぼ横ばいで、熟練した人間のベースラインを大きく下回っていた。公開時の分析の全体については、私たちの論考「AIは練習してもこのボードゲームが上達しない」を参照のこと。GPT-6 Astraの公開以降、最先端のモデルで、人間の中央値を上回る平均成績と、ときには人間の最高水準に並ぶ成績が見られるようになった。

EpochはEarthborne Rangersのコンテンツを、研究と論評の目的にのみ使用している。この取り組みはEarthborne Gamesとは独立に行っている。Epochは、ゲームの元になっている著作物を配布したり、それへのアクセスを販売したりしない。

実験の設定とグラフの説明

各モデルについて、既定の設定での「代表スコア（topline score）」を報告する。既定の設定では1サンプルが10回のプレイからなり、そのうち8回が学習用のプレイ、2回が採点されるプレイである。各モデルの代表スコアは、採点される2回のプレイのうち良いほうのスコアである。すべてのモデルはコンテキストの圧縮（compaction）のしきい値を25万トークンにする設定で実行する。ただしFableシリーズのモデルは例外で、公表されているコンテキストウィンドウの90%で実行する。

2026年9月現在、EBRに固有の学習実験（プレイを重ねるごとの学習の推移、アブレーションした実行と比べた学習の伸び、攻略ガイドの効果、デッキの多様性）は、対話型のグラフとして公開するのではなく、内部で分析している。

なお、グラフのデータは単一エージェントでの実行を表している。また、GPT-5.6 Sol、Fable 5.1、Opus 5以外の古いモデルは、「カード禁止」の設定で再実行していない。最近のモデルはすべて「カード禁止」の設定で評価しており、そのスコアは古いモデルの結果と直接比較できないかもしれないが、古いモデルのスコアはこの禁止の影響を受けないだろうとかなりの確信を持っている（詳しくは「方法論の更新」を参照）。公開している4つのグラフは次のとおりである。

スコアと時間：各モデルのスコア（達成可能な21個の目標に対する割合）を公開日に対してプロットし、参考として人間のベースライン参加者の最高スコアと平均スコアを示す。「最先端の推移のみ」を選ぶと、公開時点でこのベンチマークの最高水準だったモデルに表示を絞る。
スコアと学習計算量：スコアを、各モデルの学習に使われた計算量に対してプロットする。対象は、学習計算量の推定値が公表されているモデルに限られる。
スコアとECI：スコアをEpoch能力指数に対してプロットし、指数から予測されるスコアも併せて示す。傾向線より上にあるモデルは、全般的な能力の水準から想定されるより、Earthborne Rangersで良い成績を出している。傾向線より下にあるモデルは、それより成績が悪い。
リーダーボード：評価したすべてのモデルをスコアで順位付けし、複数回実行したモデルには90%信頼区間を付ける。

方法論

主に報告するのは各モデルの「代表スコア」、つまり1回の実行の最後の2回のプレイでの最高スコアである。各モデルの代表スコアは5回（古い実行では10回）サンプリングする。エージェントにはシステムプロンプトで、採点されるのは最後の2回のプレイだけで、それ以外のプレイは探索と学習に自由に使ってよいと伝える。既定では、1サンプル（1回の「実行」）は10回のプレイからなる。エージェントにはメモを取るよう促しており、コンテキストの圧縮をまたいで具体的な情報を保持する手段はメモだけである。2026年9月現在、基本セットのカードのうち1枚を禁止している。詳しくは「方法論の更新」を参照のこと。

各モデルは、コンテキストの圧縮のしきい値を25万トークンにして実行する。ただしClaude Fableシリーズのモデルは例外である。より高い圧縮の設定から大きな恩恵を受けるモデルは、私たちの調べた限り、このシリーズだけだった。以前は2つの圧縮の設定でモデルを実行し、良いほうの結果を採っていた。ベンチマークのリーダーボードでは、こうした古い実行（おおむね2026年9月より前に実行したもの）については良いほうの結果を残している。

各プレイは、ゲームのキャンペーンの最初の5日間（ゲーム内の日数）からなる。この5日間に、私たちのデジタル版が提供するゲーム全体の一部の範囲内で、プレイヤーは最大21個の異なる目標を得点できる。目標は、ミッションの達成、報酬の獲得、ゲーム内で記録される自明でない「注目すべき出来事」の組み合わせからなる。これまでの人間の最高スコアは21点中21点である。

エージェントのシステムプロンプトには、実験の性質についての基本的な情報（採点される目標を見つけ出すのはエージェント自身の役目であることを含む）、採点の方法、ツール呼び出しのガイド、ゲームのルールブックの要約版が含まれる。エージェントのツールは、カードの検索機能、ゲームの地図の画像、そして視覚が苦手なモデル向けのテキストベースの経路探索機能である。エージェントはメモ用のディレクトリを読み書きでき、許可された一連の参考ファイルも読める。参考ファイルは、ゲームの完全なルールブック、ルール用語集、そして実際のゲームと提供するデジタル版との違いを記したデジタルインターフェースのガイドである。なお、「カード禁止」の設定では、該当するカードはゲームから取り除かれるだけでなく、すべての参考資料からも完全に削除される。

モデルは、単純なReActエージェントのハーネスか、サブエージェントを使える、より複雑なDeep Agentのハーネスの中で行動する。詳しくは「方法論の更新」を参照のこと。

先に述べたように、現在評価しているのはゲームの冒頭5日間の導入部分だけである。キャンペーン全体は20〜25日に及ぶ。

人間のベースライン

注：人間のベースラインの結果は以前このページで詳しく公開していたが、その後、参考線を除いて削除した。より詳しいデータについては、人間のベースラインの結果をまとめた私たちのX（旧Twitter）のスレッドを参照のこと。

2026年7月15日から8月15日まで、このバージョンのEarthborne Rangersについて、それまでの経験の程度がさまざまな人間のプレイと学習の成績を測る、人間のベースライン実験を行った。ベンチマーク作成者の個人的・職業的なつながりから計15人の参加者を募り、時給30ドル、参加時間の上限60時間で報酬を支払った。代表スコアが10以上（「AIより上」）なら25%の上乗せを、15以上（「熟練者の成績」）ならさらに25%（合計50%）の上乗せを支給した。

参加者は、AIエージェントとできるだけ同じ条件でプレイした。ゲームを学ぶのに10回のプレイがあり、最後の2回が採点されると伝えた。実生活の事情と、実験に時間がかかることを考慮して、参加を早めに終えると宣言し、9回目と10回目の代わりに次の2回のプレイを採点対象として事前登録する選択肢も与えた。

参加者は、Epochが作った非公開のウェブサイトでゲームをプレイした。インターフェースはテキストベースで、エージェントに提供したのと同じゲームエンジンの上に作られている（カードの情報を枠にまとめたり、一部のキーワードを色分けしたりするなど、人間にとってUIを使いやすくする工夫はある）。人間とAIには、可能な限りまったく同じゲームの情報を与えた。また人間には、助けを得るためにインターネットを使わないよう強く求めた（もっとも、このバージョンのゲームで良い成績を出すのに役立つ情報は、そもそもインターネット上にほとんどない）。

当初の参加者15人のうち2人は途中で離脱したため、公開したデータセットから除外した。参加者の平均スコアと最高スコアを参考線として示している。

内部での学習スコアの分析では、人間とAIエージェントのプレイヤーで計算方法を変えた。AIエージェントの学習スコアは、10回または18回のプレイからなる実行での代表（2回中の最高）成績と、「アブレーションした」2回のプレイからなる実行での代表成績との差である。アブレーションした実行では、学ぶための猶予を与えず、すぐにできるだけ高い得点を取るよう伝える。人間ではこの種のアブレーションはできないので、代わりに、人間が最後に採点されたプレイで得た代表スコアと、最初の2回のプレイの代表スコアとの差を単純にとる。疲労、負傷、移動の指標についても同じく、それぞれの範囲で代表スコアを出したプレイの値を使う。人間については、AIの「アブレーション学習スコア」と区別して、これを「実行内学習スコア」と呼ぶ。

この方法は人間の学習スコアを水増しするかもしれない。人間には最初のほうのプレイは採点されないと伝えていたので、それらのプレイを探索用や捨てプレイとして扱い、目標を追わなかった可能性があるからである。ただし、Earthborne Rangersは一般に覚えるのが難しいゲームとされているので、人間にすぐに全力を尽くすよう指示したとしても、最初のほうのプレイのスコアや指標はいずれにせよ比較的低かっただろうと考えている。さらに、人間のプレイ記録を確認したところ、最初のほうのプレイを「捨てプレイ」として扱った人は見当たらなかった。参加者は初期のプレイにも真剣に取り組んでおり、どの目標についても学ばずにプレイを無駄にすることを、おおむね避けようとしていた。

方法論の更新

2026年9月22日 ベンチマークの方法論をv4に更新した。急速に進歩するモデルで、飽和するまで持続的にベンチマークを実行できるよう、多くの変更を加えた。また、EBR-bench専用のグラフを廃止した。最新の状態に保ち、読みやすくしておくのが運用上難しかったためである。

第一に、代わりに使える複数エージェントの足場（scaffold）を導入した。モデルが同じ戦略を何度も試して行き詰まる様子が見られたので、サブエージェントがあればモデルがゲームの戦略の空間をよりよく探索できるのではないかと考えた。この足場は、提供元の間で条件をそろえるためにInspectのDeep Agentハーネスを基にしており、Claude Code／Codexの機能に合わせるため、主エージェントからサブエージェントへメッセージを送る仕組みを少し追加している。EBRは最大4ゲームまで同時に実行できるので、サブエージェントも最大4つまで認めている。主エージェントは、自分でゲームをプレイするか、サブエージェントに任せるかを選べる。採点されるプレイは、学習用のプレイがすべて終わるまで「ロック」される。

第二に、カードを1枚禁止して、ゲームの内容に実質的な変更を加えた。GPT-6 Astraの公開で成績が大きく跳ね上がったが、それはあるカードを使ったものだった。このカードを使うと、疲労の管理や効率的な移動など、私たちが測りたいゲームの戦略的・戦術的な側面の多くを回避できてしまう。これは正当なやり方で、人間のベースライン参加者の最高成績者も使っていた。それでも、モデルが「ひとつの奇妙な裏技」を見つけ出せるかを測るよりも、このカードを禁止したほうが、モデルの総合的な学習能力をよりよく測れると考えている。

以前のモデルもこのカードを使ってはいたが、その潜在力を最大限に引き出す使い方を見つけたのはAstraが初めてだった。Astra以外の、最先端またはそれに近いいくつかのモデルでは、このカードを禁止しても代表スコアに大きな影響がないことを実験で確かめた。そのため、この新しい設定でベンチマークを実行することは、残念ながら過去にさかのぼる変更ではあるものの、既存のスコアの比較可能性にはおそらく影響しないと考えている。

Sol、Fable 5.1、Opus 5の代表スコアはこの新しい「カード禁止」の設定での結果に置き換えた。GPT-6 Astraの公開スコアも「カード禁止」での実行によるものである。ほかのモデルのスコアはすべて禁止より前のものである。今後は、新しいモデルを次の3通りの設定の組み合わせで実行する予定である。

カード禁止＋単一エージェント（既定。リーダーボードのスコア）
カード禁止なし＋単一エージェント
カード禁止＋複数エージェント

EBR-bench専用のグラフの保守をやめると決めたので、上記の既定以外の実験の結果は、このページのグラフには反映されない。代わりに、それらの副次的な実験で注目すべき結果が出れば、記事として公開する予定である。

このほか、いくつかの小さな変更も加えた。

新しいモデルをすべて2つの圧縮の設定で実行して成績を比べるやり方をやめた。予算の制約があることと、より高い圧縮の設定で恩恵を受けたのはClaude Fableだけだったことによる。ベンチマークの存続期間の残りでは、すべてのモデルを25万トークンの圧縮の設定で実行する予定である。ただしClaude Fableシリーズのモデルは例外で、公表されているコンテキストウィンドウの90%で実行する。
エージェント向けのプロンプトを更新し、採点対象となる21個の目標を見つけ出すのはエージェント自身の役目であることを、よりはっきりと示した。人間のベースライン参加者に与えた資料に近づけるためである。これは2026年8月21日より後の結果に影響する。
実験の数が増えたことに対応するため、規模の大きい実験のサンプルサイズを10から5に減らした。
予算の制約と、一貫して効果が見られなかったことから、18回のプレイからなる実行を標準の実験から外した。

2026年8月19日 人間のベースライン実験の参加者のデータを追加した。

ゲーム全般とEarthborne Rangersについて、それまでの経験がさまざまな15人の参加者を募り、エージェントとできるだけ同じ条件でプレイしてもらった。詳しくは、上の「方法論」の「人間のベースライン」の項を参照のこと。

2026年8月11日 ベンチマークの方法論をv3に更新した。

追加の実験で、コンテキストの圧縮のしきい値の設定が、特定の課題パラメータのもとで特定のモデルに大きな影響（目標1〜3個程度）を与えうることが分かった。そこで現在は、すべてのモデルを2つの圧縮の設定で実行している。25万トークンと、モデルの公表されている最大コンテキストウィンドウの約90%に当たる高い値（GPTモデルでは通常88万。これより高いと、まれに圧縮のエンドポイントで問題が起きることがあるため。ほかのモデルでは約95万）である。そのうえで、2つの圧縮の設定のうち良いほうの代表スコアを、リーダーボードでのそのモデルの正式な代表スコアとして報告する。

私たちが実際に実験してきた5つのモデル（Claude Opus 4.8、Claude Opus 5、Claude Fable 5、GPT-5.5、GPT-5.6 Sol）では、この方法論の変更によって代表スコアが次のように変わった。

Claude Opus 4.8：低い圧縮の設定で3.4パーセントポイント高いスコアを出した。
Claude Opus 5：低い圧縮の設定で4.3パーセントポイント高いスコアを出した。
Claude Fable 5：低い圧縮の設定ではスコアが11.9パーセントポイント低かったので、報告している代表スコアは変えていない。
GPT-5.5：低い圧縮の設定で13.3パーセントポイント高いスコアを出した。
GPT-5.6 Sol：低い圧縮の設定で0.4パーセントポイント高いスコアを出した。

2026年7月27日 ベンチマークの方法論をv2に更新した。

代表スコアの算出方法を、サンプルの最後の20%のプレイの平均から、最後の2回のプレイのうち良いほうのスコアに変えた。進行中の人間のベースライン研究の設定に合わせるためである。各モデルは現在、1〜3個ではなく少なくとも10個の独立したサンプルで評価しており、信頼区間が大幅に改善した。アブレーション学習スコアも導入した。

コンテキストの圧縮のしきい値を、25万トークンから、各モデルの全コンテキストウィンドウの約90%に引き上げた。モデルの性能を引き出し損ねない圧縮の方針を見つけるため、現在も実験を続けている。

v2で再評価していないモデルのスコアは、引き続きv1の方法論によるものである。両者は直接比較できない。v1のデータ点は、エラーバーがないことで見分けられる。

また、性能を最大限に引き出すために使う「攻略ガイド」を、より詳しいものに変えた。新しいガイドには、具体的なおすすめのデッキと、高得点を取るためにゲーム内でたどるべき明示的な一連の手順が書かれている。これで、攻略ガイドは熟練した人間が得点を最大化するやり方を映した「模範解答」だという私たちの主張に、より正確に合うものになった。

この期間に人間のベースライン実験が始まったため、エージェント向けのUIも、人間のベースライン参加者に示すインターフェースに近づけた。主な変更点として、エージェントは捨て札の山の中身を見るための別のツール呼び出しを使うようになった。以前は、捨て札の山の中身が常にコンテキストに入っていた。

エージェント向けのシステムプロンプトでは、人間の熟練者の成績が21個中20個の目標であることも伝えるようになった。