OSWorld 2.0

概要

OSWorld 2.0はXLANG Labのベンチマークで、コンピュータを操作するエージェントを、実際のOS環境で行う手順の長い108の課題で評価する。課題は専門的な分野にわたり、デスクトップアプリとWebアプリの両方を使う。課題は元のOSWorldよりはるかに長く、熟練した人間でも1課題あたり中央値でおよそ1.6時間かかる。採点は、単一の合否チェックではなく、重み付けされた多数のチェックポイントに照らして行う。元のOSWorldとは別の、より難しいベンチマークである。

方法論

結果は、公開されているOSWorld 2.0のリーダーボードから取得している。グラフに示すのは二値の正解率、つまりエージェントが課題をすべて完了した（その課題の採点チェックポイントをすべて通過した）割合である。リーダーボードは部分点（課題ごとに満たしたチェックポイントの割合の平均）も報告しており、これも二値の正解率と並べてデータのエクスポートに残している。

OSWorld 2.0はエージェントを実際のOS環境で動かし、手順の長い作業を、1課題あたり平均約27個の重み付けされたチェックポイントで採点する。結果は、リーダーボードの既定の予算である500エージェントステップでのものを示す。課題が長く、二値の正解率では作業全体を最後までやり遂げる必要があるため、フロンティアモデルでもスコアは低い。各実行の推論の設定、ツールの設定、ステップの予算、推定コストもデータのエクスポートに残している。