SciCode

概要

SciCodeは、物理学、数学、化学、生物学、材料科学の科学者が選定した、研究レベルのコーディング問題のベンチマークである。各問題は小問に分かれており、その解をPythonで実装してベンチマークのテストケースに通さなければならない。そのため、モデルが科学の知識を動くコードに変えられるかを測ることになる。ここに示すスコアは、Artificial Analysisが独自に測定したものである。

方法論

結果はArtificial AnalysisのSciCodeリーダーボードから取得している。このリーダーボードは小問単位の正解率、つまり生成したコードがテストケースを通った小問の割合を報告している。グラフにはこのスコアを示しており、高いほど良い。

Artificial Analysisは、元の作成者の数値を転載するのではなくSciCodeを自ら実行しており、モデルの構成ごとに単一の正解率を報告している。Artificial Analysisが直接測定した（推定ではない）SciCodeのスコアを公開しているモデルはすべて含め、検証できるよう、提供元とArtificial Analysisのモデル識別子をデータのエクスポートに残している。