ベンチマーク
Humanity's Last Exam
100を超える学問分野にわたって専門家が作成した2,500問の問題集。深い専門知識を要する問題で、フロンティアAIモデルの限界を試すように作られている。
2026年10月1日時点のデータ。最新の得点は原文へ。
概要
Humanity’s Last Exam（HLE）は、Center for AI SafetyとScale AIが、ベンチマークの飽和に対処するために作ったベンチマークである。ベンチマークの飽和とは、フロンティアモデルが既存の評価ですぐにほぼ満点を取ってしまう問題をいう。データセットは、数学、物理学、化学、生物学、医学、計算機科学、人文学、社会科学など、100を超える分野にわたる2,500問を含む。問題は、50か国の500を超える機関に所属する1,000人近い各分野の専門家が提供したもので、その多くは教授、研究者、大学院の学位を持つ人々である。提供者は総額50万ドルの賞金を競った。
問題は、大学院レベルの専門性や高度に専門的な知識を必要とし、インターネット検索ではすぐに答えられないように作られている。約80%は完全一致形式（モデルは答えの文字列を正確に出さなければならない）で、残りの20%は5つ以上の選択肢を持つ多肢選択式である。約10%はマルチモーダルの問題で、文章とあわせて図表を読み取る必要がある。すべての問題に、あいまいさのない検証可能な答えがある。選定の過程では、提出された問題をまずフロンティアLLMでふるいにかけた。それらのモデルが解けなかった問題だけが、その後2回にわたる人間の専門家の審査に進み、最終的に収録された。