データインサイト
現在、米国のモデルは米国外のモデルを上回る性能を示している
著者:Jean-Stanislas Denain(Epoch AI)
GPQA DiamondとMATH Level 5では、米国の最高のモデルが米国外の最高のモデルより一貫して高い正答率を示している。たとえばGPQA Diamondで最も性能が高いモデルはOpenAIのo1、MATH Level 5で首位のモデルはo3-miniである。
GPQA Diamond
MATH Level 5
ただし、2025年1月にDeepSeek-R1がリリースされたことで、米国と米国外のモデルの差は大きく縮まった。DeepSeek-R1とo3-miniの差はMATH Level 5でわずか2パーセントポイントで、GPQA Diamondでもo1より4パーセントポイント低いだけである。
← データインサイト一覧へ