VPCT

概要

各問題には、ボール、いくつかの坂、バケツが描かれた画像が含まれる。課題は、ボールがどのバケツに落ちるかを予測することである。ベンチマーク全体には、坂の配置を変えたこの形式の問題が100問ある。これらの課題を解くには、ボールが坂を転がりながらどう動き、どう向きを変え、次の坂へ落ちていくかについての基本的な理解が必要になる。

この種の問題はほとんどの人にとって難しくなく、3人のボランティアは全員がベンチマーク全体で100%の正答率を記録した。

方法論

データはVisual Physics Comprehension Testのウェブページから直接取り込んでいる。

評価に使われたプロンプトは次のとおりである。

あなたは物理シミュレーションの専門家です。このボールとバケツの物理シミュレーションの画像を見て、ボールが最終的にどのバケツ（左から1、2、3の番号）に落ちるかを予測してください。

一歩ずつ考えていきましょう。

1. まず、ボールの初期位置を観察する
2. ボールの経路に影響する障害物や線に注目する
3. 重力がボールの軌道にどう影響するかを考える
4. ボールが面に沿ってどう跳ね、どう転がるかを考える
5. それぞれの線の位置と角度が、ボールをどう導くかを分析する
6. ボールにはある程度の弾性があり、面に当たると少し跳ねることを考慮に入れる

分析にもとづき、最後に「answer(X)」という形式で明確な答えを示してください。Xはバケツの番号（1、2、3のいずれか）です。

推論の過程を説明し、最後に指定の形式で答えを書いてください。

報告されているモデルのスコアは、モデルによって異なる回数の実行の平均である（2〜3回の実行で評価されたモデルもあれば、1回だけの実行で評価されたモデルもある）。評価用のコードはこちらで公開されている。