Epoch AIのAIベンチマークハブを公開

Epoch AIは、AIの能力を包括的に理解するためのプラットフォーム、AIベンチマークハブ（AI Benchmarking Hub）を公開する。

主要なAIモデルを自ら評価し、その結果を注意深く分析することで、AIの能力の主な傾向を明らかにすることを目指している。わかりやすい図と詳しい分析結果は、研究者、開発者、意思決定者が、今日のAIシステムに実際に何ができるのか、そしてこれからどこへ向かうのかをよりよく理解する助けとなるだろう。

AIベンチマークハブの主な特徴

難しいベンチマーク：最も難しく、最も多くの情報をもたらすベンチマークでモデルの性能を追跡することを目標としている。最初の公開では、二つのベンチマークの結果を掲載する。

GPQA Diamond：GPQAベンチマークのうち、より質が高く難しい部分集合である。化学・物理学・生物学についての博士レベルの多肢選択問題に答える能力を試す。
MATH Level 5：高校レベルの数学コンテストの問題からなるデータセットであるMATHベンチマークのうち、最も難しい問題の部分集合である。

AIの進歩の全体像を描くため、FrontierMath、SWE-bench Verified、SciCodeBenchなどのベンチマークを加えて、ベンチマークの種類を急いで広げていく予定である。

独立した評価：AIコミュニティは、AIラボが自社モデルの能力について示す主張に頼ることが多い。AIベンチマークハブは独立した視点を提供し、厳密で標準化された評価によって、関係者がこの分野の進歩を理解する助けとなる。

より深い分析を支援：利用者は、モデルの性能とモデル自体のさまざまな特徴との関係を探り、可視化できる。また、すべてのベンチマーク結果について、ダウンロードできるデータと詳しいメタデータを提供しており、利用者が独自の分析を行えるようにしている。このハブを使えば、学習計算量、モデルの利用可能性、モデルの開発者といった要因がベンチマーク性能とどう関係しているかを簡単に理解できる。

今後の予定

ベンチマークの追加：FrontierMath、SWE-bench Verified、SciCodeBenchなど、ハブにさらにベンチマークを追加していく。AIの進歩の速さを正確に描き出す、包括的なベンチマーク群を作ることが目標である。

より詳しい結果：個々の問題についてのモデルの推論の過程など、ベンチマーク結果についてさらに多くの情報を表示する予定である。自ら手本を示すことで、評価の実施方法の水準を引き上げたい。

対象モデルの拡大：新しい主要モデルが公開されるたびにそれも含めて、より多くのモデルのベンチマーク結果を追加していく。

規模に応じた振る舞い：事前学習の計算量と、テスト時に使う資源の両方について、規模の拡大に伴って性能がどう向上するかを、より詳しく示したい。

AIベンチマークハブが、AIの進歩を理解し追跡したいすべての人にとって価値ある資料となることを願っている。ベンチマークの種類と対象モデルを今後も広げていくので、定期的な更新を楽しみにしていてほしい。こちらから早速見てみよう。