正答率は推定学習計算量とともに上昇する

GPQA DiamondとMATH Level 5の正答率は、推定学習計算量とともに上昇する。GPQA Diamondでは、10²⁴ FLOP未満のモデルの大半はランダムに答えた場合の成績をなかなか上回れず、問題の形式を理解できずにそれを下回ることさえある。10²⁴ FLOPを超えると、計算量が10倍になるごとに成績は約12パーセントポイント上がる。

GPQA Diamond

MATH Level 5

MATH Level 5でも、推定計算量の多いモデルほどスコアが高い傾向があり、事前学習の計算量が10倍になるごとに成績は約17パーセントポイント上がる。ただし、そのトレンドはGPQA Diamondよりはるかにばらつきが大きい。

どちらのベンチマークでも、DeepSeek-R1、Phi-4、Mistral Small 3といった新しいモデルは、同じ計算量で学習された古いモデルを上回っている。アルゴリズムの進歩が果たす役割がはっきり表れている。最後に、これらのトレンドには、OpenAIのo1など、計算量の推定値がない最高性能のモデルの多くが含まれていない点に注意されたい。