ベンチマーク

MMLU

原文:MMLU

数十の学術・専門分野にわたる試験形式のマルチタスク・ベンチマーク。知識の幅と問題解決力を測る。

MMLUの得点の推移点は各モデルの得点(215件)。破線はその時点までの最高得点。点にマウスを乗せるとモデル名と得点を表示その時点の最高得点Meta AIAlibabaGoogle DeepMindOpenAITechnology Innovation InstituteAnthropicその他ランダムに答えた場合0%20%40%60%80%2022202320242025得点モデルの公開日出典:Epoch AI(CC BY 4.0)・作図:AGI Hub

2026年10月1日時点のデータ。最新の得点は原文へ。

概要

MMLUは、人文科学、STEM(科学・技術・工学・数学)、社会科学、専門職の分野にまたがる4択問題で構成される。多くの問題では、分野の事実を思い出すこと、定義を当てはめること、あるいは時間の制約のもとでの軽い推論が求められる。これは標準化された試験で問われる力に近い。

扱う範囲が広く安定しているため、MMLUはモデルの報告で一般知識の代表的な指標としてよく使われる。分野ごとの下位スコアからは、科目ごとの得手不得手がわかる。

← ベンチマーク一覧へ

非公式の日本語訳公式ページ(英語):epoch.ai/benchmarks/mmlu