BALROG

概要

ベンチマークに取り組むモデルはエージェントを操作し、エージェントが環境の中で行動を選んでゲームをプレイする。一連のゲームは次のとおりである。

1. BabyAI：グリッド形式のやさしいゲーム。プレイヤーは動き回り、ゲーム内のアイテムを拾うといった少数の行動の中から1つを実行して、基本的な課題をこなす。
2. Crafter：グリッド形式のゲーム。プレイヤーの体力には限りがあり、ゲーム環境の中で必要なものをすべて見つけたり作ったりして体力を補いながら生き延びなければならない。
3. TextWorld環境からは3つのゲームを使う。宝探しの探索、料理、コイン探しである。
4. Baba is AI：自然言語で書かれた規則に支配されるグリッド形式のゲームで、プレイヤーは動き回ってさまざまな課題をこなす必要がある。特に、プレイヤーはゲーム中に規則を書き換えられるため、エージェントには、ゲームをより高い次元で理解し、それを有利に生かす機会がある。
5. NetHack Learning Environment（NLE）：ターミナルで遊ぶ古典的なビデオゲームNetHackに基づく環境。人間のプレイヤーにとって上達の天井が高く、熟達するには膨大な練習が必要である。ゲームには多くの階層があり、プレイヤーはパズルや怪物との戦いといった障害を乗り越えながら貴重なアイテムを目指して進み、それを出発地点まで持ち帰らなければならない。
6. MiniHack：NetHack Learning Environmentを基にしたフレームワークで、Balrogでは難しいゲームの一部に使われる。これらのゲームをクリアするには、NLEと同じ能力の多くが必要だが、NLEよりはるかに少ない手数で達成でき、人間が習得するのにかかる時間も短い（年単位ではなく時間単位）。

方法論

Balrogの評価結果は、元論文の著者が管理するBalrogの公式リーダーボードから直接取得している。これらの結果を出すのに使われた評価コードは、BalrogのGitHubリポジトリでも見られる。

環境の中には複数の課題を含むものがある。BabyAIは5課題、Baba is AIは40課題、TextWorldは3課題、MiniHackは4課題である。モデルは環境と課題ごとに、異なる乱数シードで5〜25回評価される。

各エピソードは複数の対話ステップ（BabyAIでは数十、NetHackでは数千に及ぶこともある）からなり、エージェントは観測を受け取るたびに有効な行動を出力しなければならない。各ステップでモデルが受け取る構造化された入力には、その環境で有効な行動の説明（たとえば「north: 北へ移動する」「eat: 何かを食べる」）、環境ごとの指示、テキスト形式に整えた現在の観測が含まれる。たとえばBabyAIのテキストの観測には、「右に1歩、前に2歩のところに鍵が見える」「北に通じる閉じた扉が見える」といった文が含まれる。NetHackのようなより複雑な環境では、テキストの観測に周囲の様子、持ち物、プレイヤーの状態の詳しい説明が含まれる。

ベンチマークは、0から100までの進行度の指標で各モデルを採点し、それを実行全体で平均する。

• BabyAI、MiniHack、Baba Is AIでは、課題をクリアしたかどうかに基づき、0か100の二値のスコアが与えられる。
• Crafterでは、スコアは達成した節目（資源の発見、道具の作成など）の割合を表す。
• TextWorldでは、0から100までのスコアが、目標に向けてこなしたサブタスクに基づいて決まる。
• NetHackでは、モデルが到達したダンジョンの最深階層（1〜50）と経験レベル（1〜30）に基づく、新しい進行度の指標を著者らが導入している。

具体的なプロンプトや評価の設定を含む方法論の詳細については、Balrogの論文と評価コードを参照のこと。