ベンチマーク・レビュー
Humanity's Last Exam
Humanity’s Last Examは、一般から寄せられた問題を集めて作られた知識ベースのベンチマークである。無作為に抽出した48問を監査したところ、22問（46%）に正解率を左右する重大な誤りが見つかったため、このベンチマークを「欠陥あり」と判定した。
方法論
レビューの対象は元のベンチマークであるHumanity’s Last Examで、Humanity’s Last Exam-RollingやHumanity’s Last Exam-Verifiedではない。8つのカテゴリ（生物学・医学、化学、コンピュータサイエンス・AI、工学、人文・社会科学、数学、物理学、その他）からそれぞれ6問ずつ、計48問を無作為に抽出し、Fable 5に誤りを洗い出させた。対象としたのは主に次の3種類の誤りである。書かれたとおりでは正しく答えることが事実上不可能な問題（解答不能）、客観的に正しい答えを不正解と判定しうる問題（偽陰性）、誤った答えを正解と判定しうる問題（偽陽性）。洗い出された誤りはそれぞれ人手で監査して確かめ、私たちの証拠の基準を満たさないものは除外した。
48問のうち12問は、書かれたとおりでは正しく答えることができなかった。理由は、必要な前提がLLMにまったく与えられていない、前提が矛盾している、妥当な解釈が複数ある、主観的な問いに客観的な答えを求めている、などである。ほかに、問題としては適切に立てられているものの偽陰性を生みうる問題が10問あり、そのうち5問は偽陽性も生みうるものだった。合計で48問中22問、つまり46%に欠陥があった。
代表的な誤り
- コンピュータサイエンス・AI：解答不能。問題は「4点DFT」、つまり4つのサンプルに対する離散フーリエ変換を求めているが、数列には8つの要素がある。
- 工学：偽陰性、偽陽性。作成者の解答の説明は、選択肢Eに書かれた式で締めくくられているのに、正解表ではDとなっている。
- 人文・社会科学：偽陰性。問題は列王記上（1 Kings）の3文字の略号を求めている。「1kin」と「1kgs」はどちらもよく使われる略号だが、正解表と一致するのは「1kin」だけで、「1kgs」は不正解と判定される。
- 数学：偽陰性、偽陽性。作成者の解答の根拠では正規化定数を1/21.3535と計算しているのに、正解表では21.35となっている。
誤りの一覧
| 課題 | カテゴリ | 誤りの種類 | 注記 |
|---|---|---|---|
| 6736c2e82db9d8cc7cd8e607 | 生物学・医学 | 解答不能 | 医療の症例問題で、確定診断がすでに書かれているのに、次に行うべき診断の手順を問うている |
| 66ff35926045e9e64bbc5720 | 化学 | 解答不能 | 高さの関数としての密度を求めているのに、正解表は単一の数値になっている |
| 66f275c6e2a2b5d3594eae87 | コンピュータサイエンス・AI | 解答不能 | 可能な最小のメモリを求めているが、正解表のプログラムが最小でないことは証明できる |
| 672f6cfd609b665328565e5c | コンピュータサイエンス・AI | 解答不能 | 最もメモリ効率のよいプログラムには定まった最小値がなく、正解表の66バイトより小さくできる |
| 66f1384dba7cd382e52dc0c6 | コンピュータサイエンス・AI | 解答不能 | 問題は4点DFTを求めているが、数列には8つの要素がある |
| 66f2298b868e51658baf900a | 工学 | 解答不能 | データからは擁護できる値が複数導け、正解表は挙げられた入力の一つを断りなく無視している |
| 67200b2f79e871b075407673 | 工学 | 解答不能 | 問題文は回路が整合していると述べながら、回路が整合していれば差し引く必要のない量を差し引いている |
| 67aacfd513ec9e1a16359d51 | 工学 | 解答不能 | CPUサイクル数が測り方によって変わる |
| 671fadb2272218e5d336a33f | 工学 | 解答不能 | 完全に正しい選択肢が一つもない |
| 6737224020f2fc6d8d08075c | 人文・社会科学 | 解答不能 | 作成者自身の未発表の作品のテーマを問うている |
| 671683479e5d26a2905120dc | その他 | 解答不能 | 想定解では、通常の条件ではプレイヤーの近くに出現できないモブが必要になる。また、想定解の通常でない条件のもとでは、別のブロックでも成り立つ |
| 672333955d82e15ca8e37afb | 物理学 | 解答不能 | 不確定性原理のどの慣例を使うかで答えが変わるのに、どれも指定されていない |
| 67371496e04511118435d5a4 | コンピュータサイエンス・AI | 偽陰性、偽陽性 | 正解表の時間の遅れの係数で小数点の位置がずれている（0.9963と0.963） |
| 671fee7b3fdf9b50dcb7ca58 | 工学 | 偽陰性、偽陽性 | 正解の付け間違い：作成者自身の解答の説明は選択肢Eと一致するのに、正解表はDになっている |
| 6711e5e05e64a53ed09449fd | 人文・社会科学 | 偽陰性、偽陽性 | 正解表の値（0.218）は計算の途中で丸めた結果で、正確な答えは0.220である |
| 67381ce26a5242a22fe4681f | 数学 | 偽陰性、偽陽性 | 正解表の値が、その問題自身の解答の根拠から得られる答えの逆数になっている |
| 67361730dba36cc0d595f422 | 物理学 | 偽陰性、偽陽性 | 正解表が、実際には起こらない干渉を根拠にしている |
| 6734b98afaf4e6eb454c1c9d | 生物学・医学 | 偽陰性 | 正解表で生物の属名のつづりが間違っているため、判定役のLLMが不正解とする可能性がある |
| 67253e40cff9fdccf85f3f08 | 化学 | 偽陰性 | 挙げられた制約をすべて満たす分子がほかにも複数あるのに、正解表には一つしか載っていない |
| 6730f3c006cd33fe46ca2dfe | 化学 | 偽陰性 | 正解表の質量の値が、求められている精度ではわずかにずれている |
| 67190f1eee94d36fc7734311 | 人文・社会科学 | 偽陰性 | 正解表が聖書の書名の非標準的な略号を使っており、略号の違いのせいで不正解と判定されやすい |
| 6724f79b262cac26e3c38360 | 人文・社会科学 | 偽陰性 | 同じ単語のUnicodeでの表記のうち、正解表は一つしか受け付けない |
抽出したほかの26問の正解表は正しかった。それらのidは次のとおりである：668825f80a642802bdfeadfa、66e4cdec11c64a7e4051b2d9、66e883265ab37f0a7da089be、66eaa5ddc7a3252f0f3fe53f、66eaf9bbb082c5e6a76a49b5、66eb3aab27b19dd593af7ebe、66ecfd03e7478ca5fcbb7495、66f02cc56ea864e80ba2d3d7、66f042e57cd17eb270eb9ccb、66f864c8f7c10f2d2ba396df、66fea0c4cb66b0e85c55ee52、67029d8de7ea2ce5def2f39f、6705b23880154ff607a205b5、670be48d7038d6936230870a、6713a7d01e0e03ffe2253dd0、67142e7e7da71e9cbf55a7f9、67178b22b7f6dd9be2a4dd68、671ad72c9fdc33c08a784b3a、671ee4d26edc2afd69958953、67216f0abddbccdce9955e93、6722b1f9f3a489ee08117730、672455ce7a14971607e3d9f0、672588e1f71812e186947615、672fadd93c2722c42adabef3、67378905b73b79a4008926af、674982572b1759933c70c4eb。
評価基準
1. レビュー可能性
| 水準 | 意味 | 状態 |
|---|---|---|
| 完全 | すべての課題と採点ロジックを確認でき*、各モデルに使われたハーネス（実行環境）とAPIの設定（推論の強度、トークン・時間の上限、ツールへのアクセス、システムプロンプト）がすべて開示されている | ［2へ進む］ |
| 部分的 | 課題の代表的なサンプルと採点ロジックを確認でき、ハーネスとAPIの設定がすべて開示されている | ［2へ進む］ |
| 不十分 | 確認できる課題や採点ロジックが限られている、偏っている、またはまったくない。ハーネスとAPIの設定が開示されていない | ［停止 → 情報不足（NEI）］ |
* 一般に公開されている場合と、レビュー担当者に非公開で提供されている場合のどちらでもよい。
2. 採点
これは「検証済み」と判定されるために必要な最低限の基準である。これらの項目のどれか一つでも満たさなければ、判定は「欠陥あり」となる。
| 採点 | |
|---|---|
| 例 |
|
| 「欠陥あり」とする既定の閾値 | 確認したサンプル†の20%以上に誤りがある、または採点を大規模に損なう問題がある |
| 状態 | 合格 問題あり［停止 → 欠陥あり］ 未レビュー |
| 注記 | — |
| ベンチマークの一貫性 | |
|---|---|
| 例 |
|
| 「欠陥あり」とする既定の閾値 | リーダーボードに、異なるバージョンによる比較できない結果が混在している |
| 状態 | 合格 問題あり［停止 → 欠陥あり］ 未レビュー |
| 注記 | — |
| 能力の引き出し | |
|---|---|
| 例 | モデルの能力の引き出し方が極めて制約的で、しかもその制約がベンチマークの測ろうとしているものではない：
|
| 「欠陥あり」とする既定の閾値 | その課題に対する妥当な別の設定と比べて、性能が大幅に下がっている |
| 状態 | 合格 問題あり［停止 → 欠陥あり］ 未レビュー |
| 注記 | — |
| 評価設定の偏り | |
|---|---|
| 例 |
|
| 「欠陥あり」とする既定の閾値 | 特定のモデルに有利な、無視できない差が見つかった |
| 状態 | 合格 問題あり［停止 → 欠陥あり］ 未レビュー |
| 注記 | — |
† 利用できる課題が50を超えるベンチマークでは、無作為に50個をサンプリングする（カテゴリがあればカテゴリで層別化する）。観測された誤り率が15〜25%の場合は、サンプルを100に増やす。利用できる課題が50以下のベンチマークでは、すべての課題を評価する。
3. 評価の質
これはすべてのベンチマークに満たしてほしい基準だが、これらの項目を省いたり満たさなかったりしても、必ずしも失格にはならない。
| 問い | 状態 | 注記 |
|---|---|---|
| 能力の引き出しと資源の十分さ：モデルに与えられた資源（推論のトークン・ターンの予算、ツールへのアクセスなど）は、モデルが上限近くの性能を出すのに十分か？ | 十分 制約的 不当に制約的 不明 未レビュー | — |
| 足場の公平性：リーダーボードはどの足場での結果を報告しているか？ | 共通の足場 モデル専用の足場と共通の足場が混在 モデル専用の足場 未レビュー | — |
| 汚染の証拠やリスクはあるか？ | 未レビュー | — |
| 人間が課題を完了できるかは評価されているか？ | すべての課題 代表的な課題のセット 実施方法が不適切（課題のセットが代表的でない、参加者の選び方が妥当でない） 未確立 未レビュー | — |
| スコアの範囲（推定できる場合） | 下限 —、上限 — 未レビュー | — |
| 統計的な十分さ：モデルあたりの実行回数（誤差棒を付けるには5回以上を推奨） | モデルあたり —回 不明 未レビュー | — |
| 構成概念妥当性 | うたっている能力を測っている うたっている能力を部分的に測っている うたっている能力を測っていない 未レビュー | — |
免責事項
これは部分的なレビューである。欠陥のあるベンチマークについて公表している閾値を超える誤りが見つかった時点で、確認を打ち切った。
公開前にベンチマークの開発者への連絡を試みた。開発者がこのレビューへの回答を書いた場合は、ここにリンクを載せる。ベンチマークの開発者の方で、回答をここに載せることを希望される場合は、回答へのリンクを添えてreviews@epoch.aiまでメールでお知らせいただきたい。