Chess Puzzles

概要

このベンチマークは、モデルが次の最善手を選ばなければならないチェスの局面からなる。局面はすべてEpochがプログラムで生成したもので、ほかのどの情報源にも登場しない。どの局面にも、Stockfishチェスエンジンの判定で、手番のプレイヤーにとって最善の手がただ一つある。モデルは、正しい手を選んだかどうかで採点される。

チェスそのものの広い意味での重要性は低いが、このベンチマークはいくつかの理由で有用だと考えている。

• 空間的な推論や計画など、推論の重要な側面を測っている可能性が高い。その意味で、より手の込んだビデオゲームのベンチマークの「簡易版」である。
• 作成も実行も安価である。問題はプログラムで生成され、1問でモデルを評価するにはAPIを1回呼び出すだけでよい。
• 飽和していない。公開時点（2025-12-10）で、最先端のモデルによる最高スコアは40%未満である。さらに、モデルの能力が進歩するにつれて、より難しい問題を生成できる。

方法論

モデルには、盤面の状態がForsyth–Edwards記法（FEN）で与えられる。画像の処理は求めない。モデルの解答はログビューアで見られる。たとえば、GPT-5のログはこちらである。Chess.comなど、FENの文字列を読み込んで盤面として表示し、局面を解析するツールを備えたウェブサイトがいくつかある。

モデルには次のプロンプトが与えられる。

Below is a FEN string representing the state of a chess game. Please analyze the position and determine the best next move for the player whose turn it is. You may think as much as you would like, but please conclude your response with the move expressed as a four-character string stating the starting and ending square of the piece to be moved, using the format "MOVE: b1c3" (without quotes).

{FEN}

モデルを使った解答抽出器が、モデルの最終的な答えを取り出す。それを正解と比べ、完全に一致するかを判定する。

盤面の状態は、ヒューリスティックな探索とふるい分けを行うプログラムで生成している。最初の6手は、白黒ともランダムに指す。その後の手は、ランダムに選んだEloレーティングに設定したStockfishが指す。対局が終わったら、全力のStockfishを使い、最善手がただ一つあり、かつプレイヤー側のモデルがその手を選ばなかった局面を探す。最善手が、守られていない駒を取る手や、価値の低い駒で価値の高い駒を取る手である局面は除外する。こうした局面は、たいてい明らかな悪手の結果だからである。望ましい局面は、模擬対局およそ5局につき1つの割合で生成された。

パズル生成器の実装とInspectの課題定義はこちらで見られる。データセットは「chaos」モードを有効にして、1回の実行で生成した。バイブコーディングをしてくれたGemini 3 Pro Previewに感謝する。

私たちの主観的な評価では、局面の難易度は、比較的素直なものからやや難しいものまで幅がある。下にそれぞれの例を1つずつ示す。

ベンチマークに収録した2つの局面。左の局面で白にとって唯一の良い手は比較的素直に見つかる。ただし、なぜそれが唯一の良い手なのかはそれほど明らかではない。右の局面で白にとって唯一の良い手は、はるかに見つけにくい。

人間のベースライン

モデルのスコアを位置づけるため、ベンチマークから抜き出したパズルで何人かの人間のプレイヤーを評価した。

5人のプレイヤーが、それぞれランダムに選んだ20問のパズルに答えた。プレイヤーには、AIやチェスエンジンを使わずに一人で取り組むよう求めた。各プレイヤーには、それぞれの局面でただ一つの最善手を特定し、答えるのにかかった時間を記録してもらった。

チェスの実力はプレイヤーによって異なり、米国チェス連盟（USCF）のレーティングは1700から2400までだった（1人は代わりに、人気のあるオンラインチェスサイトでのレーティング2000を報告した）。1人のプレイヤーは、誤ってあるパズルのチェスエンジンによる解答を見てしまった。そのパズルは、このプレイヤーのスコアの計算から除外した。

結果

評価したパズルでは、強い人間のプレイヤーがおおむねAIモデルを上回った。最もスコアの高かった2人のプレイヤーはどちらもパズルの75%に正解した一方、同じパズルのセットでのモデルの最高スコアは60%だった（推論努力xhighのGPT-5.5 Proと、Gemini 3.8 Flash）。大半のモデルのスコアは20%以下だった。GPT-6 Astra (max) は、ベンチマーク全体では首位（72%）だったが、このサンプルではスコアがやや低かった（55%）。

人間の最高スコアが75%だったことから、少なくとも1問あたり数分程度をかける場合、これらのパズルは人間にとって非常に難しいことが分かる。また、抜き出したパズルは、平均するとパズル全体よりも難しい。AIの平均スコアは、全体よりもサンプルのほうが8パーセントポイント低い。

2つの局面は、どの人間のプレイヤーも正しく解けなかった。そのうち1つは3つのモデル（GPT-5.5 Pro、GPT-5.2、Gemini 3.8 Flash）が解き、もう1つはGPT-6 Astraだけが解いた。

人間のプレイヤーとモデルの両方について、匿名化した結果をこのスプレッドシートで公開している。

プレイヤー	レーティング	正解数	正解率（%）	1問あたりの平均時間（分）
A	2400	15	75%	2.0
B	2035	15	75%	報告なし
C	2265	10	50%	3.2
D	1700	91	47%	6.5
E	20002	8	40%	6.8