ダウンロード可能な重みを持つモデルは、現時点で最高性能のモデルに後れをとっている

GPQA DiamondとMATH Level 5で最も高い正答率を示すモデルは、重みをダウンロードできないものが多い。たとえばGPQA Diamondでは、OpenAIのo1は、当時ダウンロード可能なモデルのなかで最高性能だったPhi-4を20パーセントポイント上回った。同様にMATH Level 5でも、Phi-4はo1に29パーセントポイント後れをとった。

GPQA Diamond

MATH Level 5

オープンモデルがどれほど遅れているかについてはこちらの記事でさらに分析した。その結果、最高性能のオープンLLMは最高性能のクローズドLLMに、GPQA Diamondでは6か月、MMLUでは20か月の範囲で遅れていることがわかった。

しかし、2025年1月にDeepSeek-R1がリリースされ、オープンウェイトとクローズドウェイトの性能差が大きく縮まったことがわかった。たとえばMATH Level 5では、DeepSeek-R1は現在の最高性能モデルであるo3-miniにわずか2パーセントポイントしか後れをとっていない。