ベンチマーク
CritPt
原文：CritPt
入門的な独自研究プロジェクトをモデルにした、複雑で答えの定まらない研究水準の物理学の問題を、AIが推論して解けるかを試すベンチマーク。
各モデルの得点の表・グラフは 原文のページ（英語・操作可能） で閲覧できます。
概要
CritPt（「Complex Research using Integrated Thinking - Physics Test」の略で、「臨界点（critical point）」にかけた名前）は、複雑で答えの定まらない研究水準の物理学の問題をAIが推論して解けるかを試す、初めてのベンチマークである。Argonne National Laboratory（アルゴンヌ国立研究所）とUniversity of Illinois（イリノイ大学）が主導し、30を超える機関の50人以上の現役の物理学研究者が作成した。問題は教科書の演習ではなく入門的な独自研究プロジェクトをモデルにしており、現代物理学の十数の下位分野にわたる。汚染（学習データへの混入）を避けるため、問題はすべて未公開の独自のものである。
方法論
結果は、Artificial Analysisが運営する公開のCritPtのリーダーボードから取得している。
CritPtには、約190のチェックポイント（下位課題）に分解された71の複合的な研究課題が含まれる。課題は各分野の専門家が作成・レビューしたもので、課題1つあたり平均40時間を超える専門家のレビューを経ている。解答は、数値の配列、記号式、Python関数など、当て推量が効かず機械で検証できる形式を使い、物理学向けに調整した自動採点パイプラインで採点される。代表指標は正答率で、スコアは非常に低く、このベンチマークの難しさを反映している。