ベンチマーク

Epoch AI が実施・収集しているAIのベンチマーク（能力評価）の解説と、ベンチマークの質を評価したレビュー。各モデルの得点は原文のページで閲覧できる。

ベンチマーク評価について（Epoch AI のベンチマーク評価の方針）

原文 96ページのうち、日本語版 95ページ。ベンチマーク名のアルファベット順。

• Adversarial NLI

  敵対的に収集した自然言語推論の例からなるベンチマーク。分布が変わっても文章を頑健に推論できるかを試す。

• Aider Polyglot

  オンラインのプログラミング学習プラットフォームExercismから集めた難しいプログラミング問題で、モデルの性能を評価するベンチマーク。

• ALE-Bench

  競技プログラミングのコンテストから集めた難しい組合せ最適化問題を使い、長期にわたり目的に沿って進めるアルゴリズムエンジニアリングの能力でAIを評価するベンチマーク。

• AlgoTune

  専門家による参照実装より速く、かつ正しく動くコードを言語モデルが書けるかを試すベンチマーク。

• APEX-Agents

  投資銀行、経営コンサルティング、企業法務の長期にわたる専門業務を、現実的な模擬職場環境の中でAIエージェントが遂行できるかを評価するベンチマーク。

• ARC AI2

  AI2 ARCデータセットの問題を使い、小中学校レベルの理科の知識と推論を評価する多肢選択式の理科ベンチマーク。

• ARC-AGI-1

  概念学習のベンチマーク。入出力の例から、少数例での抽象化、パターンの帰納、プログラムのような推論ができるかを評価する。

• ARC-AGI-2

  ARC-AGIのより難しい後継。グリッド形式の課題で、少数例からの抽象的推論とパターンの汎化を試し、課題1問を解くのに使う計算資源の効率も新たに重視する。

• BALROG

  難易度が大きく異なる一連のゲームをプレイする能力でモデルを評価するベンチマーク。

• BBH

  BIG-benchの課題のうち、大規模言語モデルにとって難しいままのものを選んだサブセット。構成的・記号的な推論や複数段階の推論を調べる。

• Berkeley Function Calling Leaderboard (BFCL) v4 レビュー

  （レビューのみ）

• Blueprint-Bench 2

  空間知能のベンチマーク。AIエージェントがアパートの写真から2Dの間取り図を作る。

• BoolQ

  はい／いいえで答える読解ベンチマーク。短い根拠文を与えられたモデルが、自然に生じた質問に答える。

• BTF-3

  「過去予測（pastcasting）」のベンチマーク。予測エージェントが、固定したウェブのスナップショットを使って結果が確定済みの問いを調べ、ブライアー尺度で採点される。

• CadEval

  テキストからCADを生成するベンチマーク。幾何とレンダリングのチェックを満たす有効なパラメトリック3D設計をモデルが生成できるかを評価する。

• Chess Puzzles

  チェスエンジンを使ってプログラムで生成した、新しいパズル100問。どのパズルにも、次の一手として最善のものがただ一つある。

• CL-bench

  モデルが推論実行時に文脈から真に新しい知識を学び、それを専門家が設計した課題に応用できるかを試すベンチマーク。

• CL-bench Life

  CL-benchの姉妹版。日常のやりとり、散らばったメモ、行動の痕跡といった雑然とした実生活の文脈から、モデルが学び推論できるかを試す。

• CommonSenseQA 2

  より難しく、偏りを減らした多肢選択式ベンチマーク。語彙上の近道に頼らない日常的な常識を調べる。

• CritPt

  入門的な独自研究プロジェクトをモデルにした、複雑で答えの定まらない研究水準の物理学の問題を、AIが推論して解けるかを試すベンチマーク。

• CursorBench 4.0

  Cursorの実際のセッションから集めた、あいまいで複数ファイルにまたがる課題で、コーディングエージェントを採点するベンチマーク。

• Cybench

  サイバーセキュリティのエージェントベンチマーク。サンドボックス化された課題で、脆弱性を自律的に発見し悪用する能力を測る。

• DeepResearchBench

  インターネットから情報を集めて質問に答える能力のベンチマーク。情報を見つけ、まとめ上げるモデルの能力を試す。

• DeepSWE v1.1 レビュー

  活発に開発されているオープンソースのリポジトリを対象に、一から書き下ろした独自の長期的なソフトウェアエンジニアリング課題からなるベンチマーク。

• DTBench

  人手で作った多肢選択式の問題で、ニューカム型問題の意思決定理論をモデルが理解しているかを試すベンチマーク。

• Earthborne Rangers (EBR-bench)

  AIシステムの学習能力のテスト。比較的知名度の低いゲームEarthborne Rangersを繰り返しプレイするうちに、スコアが向上するかを測る。

• EnigmaEval

  パズルハントから集めた長いマルチモーダルのパズルからなるベンチマーク。テキストと画像が混在する素材について、創造的な複数段階の推論を必要とする。

• ExploitBench v0.1 レビュー（英語）

  実在する、防御を固めたセキュリティ脆弱性を相手に、LLMエージェントがソフトウェアのエクスプロイトの「能力のはしご」をどこまで登れるかを測るベンチマーク。

• Fiction.liveBench

  長い創作文章を理解するモデルの能力を測るベンチマーク。

• ForecastBench

  現実の将来の出来事についてAIの予測能力を測る、動的で継続的に更新されるベンチマーク。人間のスーパーフォーキャスターや一般の人々と直接比較できる。

• FrontierCode

  実在する難しいオープンソースのissueに対して、コーディングエージェントがマージできる修正を作れるかを測るベンチマーク。

• FrontierMath Erdős

  数学者Paul Erdősが提起または研究した問題のうち、2026年8月時点で未解決で、特に興味深く難しいものを選んだ問題集。

• FrontierMath Tier 4 (v1, old)

  非常に難しい研究レベルの数学問題。更新（2026-06-12）：v2を公開した。このページは今後更新しない。

• FrontierMath Tier 4 (v2)

  非常に難しい研究レベルの数学問題。

• FrontierMath Tiers 1-3 (v1, old)

  専門家が書いた数学問題。学部上級からキャリア初期の研究者までのレベルを扱う。更新（2026-06-12）：v2を公開した。このページは今後更新しない。

• FrontierMath Tiers 1-3 (v2)

  専門家が書いた数学問題。学部上級からキャリア初期の研究者までのレベルを扱う。

• FrontierSWE (v2)

  超長期にわたるソフトウェアエンジニアリングのベンチマーク。実装、性能改善、科学計算、視覚的推論、AI研究のタスクで、1タスクあたり20時間の予算を与えてコーディングエージェントを試す。

• Furniture Assembly Benchmark

  空間的推論のテスト。モデルはIKEA家具を組み立てている写真（一部には意図的な組み立ての誤りがある）を見て、組み立てが正しいかを判断し、誤りのある手順を特定しなければならない。

• GBAEval

  Game Boy Advanceのエミュレーターをゼロから実装させて、AIコーディングエージェントを試す長期のソフトウェアエンジニアリングのベンチマーク。

• GDP.pdf

  現実の専門業務で使われるPDFについての質問に、モデルが答えられるかを測るベンチマーク。

• GDPval

  実在する職業のなかから選んだ、内容が明確に定められたタスクでモデルの性能を測るベンチマーク。

• GeoBench

  写真が撮影された現実の場所を特定するモデルの能力を測るベンチマーク。人気ゲームのGeoGuessrをもとにしている。

• GPQA Diamond

  博士レベルの専門家が作成した、生物学・化学・物理学の難しい多肢選択式の問題集。

• GSM8K

  小学校レベルの算数の文章題からなるベンチマーク。複数段階の算術的推論と、完全一致で採点される解答に重点を置く。

• GSO

  ソフトウェアの性能最適化の課題を集めたもの。プログラムのコードを書き換えて性能を大きく高めるモデルの能力を測る。

• HealthBench Professional レビュー

  （レビューのみ）

• HellaSwag

  敵対的にふるい分けた、常識にもとづく文完成のベンチマーク。日常の場面で何がもっともらしいかの判断を測る。

• Humanity's Last Exam レビュー

  100を超える学問分野にわたって専門家が作成した2,500問の問題集。深い専門知識を要する問題で、フロンティアAIモデルの限界を試すように作られている。

• LAMBADA

  長い文脈を扱う言語モデリングのベンチマーク。文章の最後の単語を、それまでの文脈全体から予測させる。

• Lech Mazur Writing レビュー

  創作の物語執筆ベンチマーク。モデルは指定された10の要素を短編に織り込まなければならず、LLMの審査員団が0〜10の評価基準で採点する。データはこのベンチマークの0〜10方式の最終リーダーボード（2025年8月）で固定している。

• LiveBench

  現実の課題を幅広く集めた動的なベンチマーク。定期的なリリースで更新され、標準化された判定手順で採点される。

• LMCA

  概念的な議論の質をモデルがどれだけうまく判断できるかを測るベンチマーク。専門家の評価との一致度で採点する。

• MATH Level 5

  MATHデータセットのうち最も難しい段階の問題。AMC 10、AMC 12、AIMEといった競技会から集められている。

• METR Time Horizons

  ソフトウェアエンジニアリングとその関連の課題で、モデルが半分以上の確率で正しく完了できる最も長い課題の所要時間。

• MindCube

  視覚言語モデルが、限られたカメラの視点から場面の空間的なメンタルモデルを組み立てられるかを試すベンチマーク。

• MirrorCode

  長期にわたるコーディングのベンチマーク。モデルは、元のソースコードを見ずに、プログラム全体を最初から最後まで再実装する。

• MMLU

  数十の学術・専門分野にわたる試験形式のマルチタスク・ベンチマーク。知識の幅と問題解決力を測る。

• Mystery Game Puzzles

  よく知られたゲームの、パズル向けの変種から取った100の局面。ゲームの詳細は意図的に伏せている。

• OpenBookQA

  小規模な「教科書持ち込み可」の科学QAベンチマーク。中核となる事実に常識を組み合わせて4択問題に答える必要がある。

• OS World

  コンピュータ操作のベンチマーク。エージェントが、再現可能なOS環境で、キーボード・マウス操作と構造化されたUIの観測を使って、実際のデスクトップやWebの課題をこなす。

• OSWorld 2.0

  コンピュータを操作するエージェントのベンチマーク。現実のデスクトップやWebで行う、手順の長い108の課題からなる。

• OTIS Mock AIME 2024-2025

  OTISの競技形式の数学問題45問。MATH Level 5より難しく、FrontierMathより易しい。

• PIQA

  物理的な常識のベンチマーク。日常の問題に対して、より実現しやすい解決策をモデルに選ばせる。

• PostTrainBench v1.1 レビュー

  CLIエージェントが、決められた計算資源の予算のもとで、小規模なベース言語モデルをどれだけうまく事後学習できるかを測るベンチマーク。

• ProofBench

  大学院レベルの数学の問題で、形式検証を通るLean 4の証明をモデルに書かせるベンチマーク。

• Remote Labor Index

  経済的価値のある実際のリモートのフリーランス案件を、AIエージェントが最初から最後までどれだけうまくこなせるかを測るベンチマーク。

• SciCode

  自然科学の幅広い分野から集めた、研究用コーディングの問題のベンチマーク。科学者が選定している。

• ScienceQA

  文章、画像、図を組み合わせたマルチモーダルな多肢選択式の科学ベンチマーク。詳しい解説が付いている。

• SimpleBench

  常識的な推論を試すベンチマーク。「ひっかけ問題」や、空間・時間・社会的な手がかりの理解を必要とする状況を含む。

• SimpleQA Verified レビュー

  政治、科学技術、芸術、スポーツ、地理、音楽などに関する、事実を短く答える1,000問。

• SpatialViz-Bench

  マルチモーダルモデル向けに、空間視覚化のパズルをプログラムで生成したベンチマーク。心的回転、折りたたみ、透視、動きの想像を扱う。

• SuperGLUE

  GLUEより難しくなるよう設計された、多様な言語理解の課題のセット。推論とサンプル効率に重点を置く。

• Surface Evolver Bench

  表面張力で形の決まる液体表面のSurface Evolverシミュレーションを、LLMが書けるかを試すエージェント型ベンチマーク。

• SWE-Bench Pro レビュー

  （レビューのみ）

• SWE-bench Verified レビュー

  実在のPythonリポジトリのGitHub issueを使い、モデルが有効なコード修正を実装できるかを試すベンチマーク。 注：私たちのSWE-bench Verifiedのスキャフォールド（モデルを動かす枠組み）は、2026年2月に大幅に改良された。

• Terminal-Bench 2.0

  コンピューターのターミナルを使って課題をこなすベンチマーク。利用できるプログラムを理解し、使いこなす能力を測る。

• Terminal-Bench 4.0.0 レビュー

  （レビューのみ）

• Text Arena (Coding)

  利用者の依頼に応じてウェブサイトを作る作業で、匿名の二つのモデルのどちらが優れているかを利用者が投票するプラットフォーム。以前はWebDev Arenaと呼ばれていたが、現在はText Arenaの一部となっている。

• TextQuests レビュー

  （レビューのみ）

• The Agent Company

  コミュニティが運営する、ソフトウェアエージェントの一連の作業を通した評価。再現可能な環境で、現実的な課題に取り組ませる。

• TriviaQA

  難しい雑学問題と、根拠となる文書を組にした、オープンドメインの質問応答ベンチマーク。

• Vending-Bench 2

  AIエージェントが、シミュレーション上の丸1年にわたって一貫性を保ち、自動販売機の事業を黒字で運営できるかを測るベンチマーク。

• Video-MME

  マルチモーダル大規模言語モデルを、多様な分野・長さ・モダリティの動画についての多肢選択式の質問応答で、字幕ありとなしの両方で評価する総合的なベンチマーク。

• VPCT

  ボールが一連の坂を転がり落ちてバケツに入るという単純な場面を描いた図を、モデルが理解できるかを試す問題集。

• WeirdML (v2) レビュー

  さまざまな分野にわたる、標準的でない機械学習エンジニアリングの課題からなるベンチマーク。

• WeirdML (v3)

  手作りの機械学習・データ分析の課題11個からなるエージェント型ベンチマーク。なじみのないデータ、明示されない目標、限られたフィードバックのもとで取り組む。

• WinoGrande

  大規模な代名詞解決・共参照解析のベンチマーク。アノテーションの偏りによる手がかりを減らし、常識を重視するよう設計されている。