GeoBench

概要

この課題は、オンラインゲームのGeoGuessrから着想を得ている。GeoGuessrでは、プレイヤーがストリートビューの画像を調べ、道路標識、植生、建築、ナンバープレートといった手がかりを探して、地図上の位置を割り出す。このベンチマークでは、実際のGeoGuessrコミュニティのマップ5つから選んだ、場所の分かっている写真をモデルに見せる。モデルは緯度・経度の座標と国の推測の両方を答えなければならず、採点は地理的な距離（km）と国の正誤にもとづく。GeoBenchが評価するのは、マルチモーダルの中核的な能力である。地理的な特徴（植生、建築、インフラ）を目で見て認識する力、文字の読解（さまざまな文字体系で書かれた標識を読む）、空間的推論、そして複数の視覚的な手がかりを統合して場所の仮説を立てる力がそれにあたる。

方法論

データはGeobenchのリーダーボードから取得している。リーダーボードで廃止扱いになっているモデルも含め、Geobenchチームが評価したすべてのモデルを収録している。

モデルのテストでは、画像と基本的なプロンプトを与える。プロンプトは、画像の中に視覚的な手がかりを探すよう促したうえで、緯度、経度、国の推測を構造化した形式で出力するよう明示的に求める。温度（temperature）を設定できる場合は0.4にしている。

マップ「A Common World」では、ほとんどのモデルを100枚の画像で評価したが、コストの高いモデルの一部は、そのうち最少で20枚という小さなサブセットでテストした。ほかのマップのベンチマークでも、同程度の枚数の画像を含むサブセットを使った。

スコアの計算で使う距離はすべて大円距離（球面上の2点を結ぶ最短の弧の長さ）で、ハーバーサインの公式で計算する。1ラウンドで得られる最高得点は5000点である。推測した位置と実際の位置の距離が、25メートルと「場所の集合の中で最も離れた2点間の距離の0.001%」の大きいほうを下回れば、この得点になる。それより精度の低い推測には、場所までの距離に応じて減点する指数関数的減衰の式にもとづいて得点が与えられる。

完全なプロンプト、スコアの計算方法、その他のスキャフォールドはGeobenchのGitHubリポジトリで公開されており、CCMDIによるGeobenchのブログ記事で説明されている。