データインサイト

現在、米国のモデルは米国外のモデルを上回る性能を示している

GPQA DiamondとMATH Level 5では、米国の最高のモデルが米国外の最高のモデルより一貫して高い正答率を示している。たとえばGPQA Diamondで最も性能が高いモデルはOpenAIのo1、MATH Level 5で首位のモデルはo3-miniである。

GPQA Diamond

現在、米国のモデルは米国外のモデルを上回っている現在、米国のモデルは米国外のモデルを上回っている米国米国外GPQA Diamondのこれまでの最高正答率0%20%40%60%80%2023年7月2023年10月2024年1月2024年4月2024年7月2024年10月リリース日リリース日:2023-07-11 GPQA Diamondのこれまでの最高正答率:35%リリース日:2024-03-04 GPQA Diamondのこれまでの最高正答率:48%リリース日:2024-06-20 GPQA Diamondのこれまでの最高正答率:56%リリース日:2023-06-13 GPQA Diamondのこれまでの最高正答率:33%リリース日:2023-11-06 GPQA Diamondのこれまでの最高正答率:43%リリース日:2024-05-13 GPQA Diamondのこれまでの最高正答率:49%リリース日:2024-02-15 GPQA Diamondのこれまでの最高正答率:45%リリース日:2024-09-12 GPQA Diamondのこれまでの最高正答率:61%リリース日:2024-09-12 GPQA Diamondのこれまでの最高正答率:70%リリース日:2024-06-17 GPQA Diamondのこれまでの最高正答率:43%リリース日:2024-05-07 GPQA Diamondのこれまでの最高正答率:42%リリース日:2023-10-10 GPQA Diamondのこれまでの最高正答率:14%リリース日:2024-02-26 GPQA Diamondのこれまでの最高正答率:34%リリース日:2024-07-24 GPQA Diamondのこれまでの最高正答率:49%リリース日:2023-12-11 GPQA Diamondのこれまでの最高正答率:29%リリース日:2023-11-02 GPQA Diamondのこれまでの最高正答率:16%Claude 2 リリース日:2023-07-11 GPQA Diamondのこれまでの最高正答率:35%GPT-4 Turbo リリース日:2023-11-06 GPQA Diamondのこれまでの最高正答率:43%Claude 3 Opus リリース日:2024-03-04 GPQA Diamondのこれまでの最高正答率:48%GPT-4o リリース日:2024-05-13 GPQA Diamondのこれまでの最高正答率:49%Claude 3.5 Sonnet リリース日:2024-06-20 GPQA Diamondのこれまでの最高正答率:56%o1-mini リリース日:2024-09-12 GPQA Diamondのこれまでの最高正答率:61%o1-preview リリース日:2024-09-12 GPQA Diamondのこれまでの最高正答率:70%Mistral 7B リリース日:2023-10-10 GPQA Diamondのこれまでの最高正答率:14%Mixtral 8x7B リリース日:2023-12-11 GPQA Diamondのこれまでの最高正答率:29%Mistral Large リリース日:2024-02-26 GPQA Diamondのこれまでの最高正答率:34%DeepSeek-V2 リリース日:2024-05-07 GPQA Diamondのこれまでの最高正答率:42%Mistral Large 2 リリース日:2024-07-24 GPQA Diamondのこれまでの最高正答率:49%Claude 2GPT-4 TurboClaude 3 OpusGPT-4oClaude 3.5 Sonneto1-minio1-previewMistral 7BMixtral 8x7BMistral LargeDeepSeek-V2Mistral Large 2公開されているデータは2024年10月までのモデルに限られるため、本文で触れているo1、o3-mini、DeepSeek-R1などは図に含まれていない。出典:Epoch AI(CC BY 4.0)・作図:AGI Hubepoch.ai

MATH Level 5

現在、米国のモデルは米国外のモデルを上回っている現在、米国のモデルは米国外のモデルを上回っている米国米国外MATH Level 5のこれまでの最高正答率(pass@1)0%20%40%60%80%100%2023年7月2023年10月2024年1月2024年4月2024年7月2024年10月リリース日リリース日:2023-06-13 MATH Level 5のこれまでの最高正答率(pass@1):21%リリース日:2023-11-06 MATH Level 5のこれまでの最高正答率(pass@1):36%リリース日:2024-05-13 MATH Level 5のこれまでの最高正答率(pass@1):48%リリース日:2024-09-12 MATH Level 5のこれまでの最高正答率(pass@1):81%リリース日:2024-09-06 MATH Level 5のこれまでの最高正答率(pass@1):46%リリース日:2023-10-10 MATH Level 5のこれまでの最高正答率(pass@1):3%リリース日:2024-02-26 MATH Level 5のこれまでの最高正答率(pass@1):21%リリース日:2024-07-24 MATH Level 5のこれまでの最高正答率(pass@1):44%リリース日:2024-04-17 MATH Level 5のこれまでの最高正答率(pass@1):23%リリース日:2023-12-11 MATH Level 5のこれまでの最高正答率(pass@1):7%リリース日:2024-02-04 MATH Level 5のこれまでの最高正答率(pass@1):19%リリース日:2024-06-07 MATH Level 5のこれまでの最高正答率(pass@1):43%リリース日:2024-09-19 MATH Level 5のこれまでの最高正答率(pass@1):58%GPT-4 Turbo リリース日:2023-11-06 MATH Level 5のこれまでの最高正答率(pass@1):36%GPT-4o リリース日:2024-05-13 MATH Level 5のこれまでの最高正答率(pass@1):48%o1-mini リリース日:2024-09-12 MATH Level 5のこれまでの最高正答率(pass@1):81%Mixtral 8x7B リリース日:2023-12-11 MATH Level 5のこれまでの最高正答率(pass@1):7%Mistral Large リリース日:2024-02-26 MATH Level 5のこれまでの最高正答率(pass@1):21%Qwen2-72B リリース日:2024-06-07 MATH Level 5のこれまでの最高正答率(pass@1):43%Mistral Large 2 リリース日:2024-07-24 MATH Level 5のこれまでの最高正答率(pass@1):44%Qwen2.5-72B リリース日:2024-09-19 MATH Level 5のこれまでの最高正答率(pass@1):58%GPT-4 TurboGPT-4oo1-miniMixtral 8x7BMistral LargeQwen2-72BMistral Large 2Qwen2.5-72B公開されているデータは2024年10月までのモデルに限られるため、本文で触れているo1、o3-mini、DeepSeek-R1などは図に含まれていない。出典:Epoch AI(CC BY 4.0)・作図:AGI Hubepoch.ai

ただし、2025年1月にDeepSeek-R1がリリースされたことで、米国と米国外のモデルの差は大きく縮まった。DeepSeek-R1とo3-miniの差はMATH Level 5でわずか2パーセントポイントで、GPQA Diamondでもo1より4パーセントポイント低いだけである。

データ(原文・英語)

← データインサイト一覧へ

非公式の日本語訳公式ページ(英語):epoch.ai/data-insights/us-vs-non-us-performance