ベンチマーク
MMLU
原文:MMLU
数十の学術・専門分野にわたる試験形式のマルチタスク・ベンチマーク。知識の幅と問題解決力を測る。
2026年10月1日時点のデータ。最新の得点は原文へ。
概要
MMLUは、人文科学、STEM(科学・技術・工学・数学)、社会科学、専門職の分野にまたがる4択問題で構成される。多くの問題では、分野の事実を思い出すこと、定義を当てはめること、あるいは時間の制約のもとでの軽い推論が求められる。これは標準化された試験で問われる力に近い。
扱う範囲が広く安定しているため、MMLUはモデルの報告で一般知識の代表的な指標としてよく使われる。分野ごとの下位スコアからは、科目ごとの得手不得手がわかる。