Mystery Game Puzzles

概要

このベンチマークは、よく知られたゲームをもとにしたパズルで構成され、モデルは次の一手として唯一の最善手を選ばなければならない。設定は私たちのChess Puzzlesベンチマークと似ているが、このベンチマークだけを狙った対策がとられるリスクを減らすため、どのゲームかは秘密にしている。

方法論

このベンチマークは、私たちのChess Puzzlesベンチマークとよく似ている。パズルはプログラムで生成した。ランダムな対局をサンプリングして中盤の局面まで進め、唯一の最善手がある局面だけに絞り込んでいる。

モデルには、最小限のエージェント用の足場（スキャフォールド）の中で、ゲームの局面がテキストとして与えられ、モデルは最後に提出用のツールで選んだ手を提出する。提出された手はそのゲームの標準的な記法にそろえてから、正解と照合する。有効な手を取り出せない応答は得点なしとし、無回答として記録する。ルール上指せない手を挙げた応答は不正解とする。

どのゲームかを伏せておくため、プロンプト、局面の例、モデルの出力記録は現時点では公開していない。