データインサイト
AIの能力はこの1年で着実に向上している
研究レベルの数学、エージェント型のコーディング、視覚的な理解、常識推論などのスキルを測るベンチマークで、AIの能力はこの12か月のあいだ急速かつ一貫して向上してきた。
これらのベンチマークは、経済的に価値のあるタスクに必要な微妙な能力をすべて捉えているわけではない。それでも、はっきりとした上昇傾向は、AIの有用性が実際に高まっていることを反映している。この能力の伸びに、鈍化の兆しは見られない。
このグラフについて詳しく
Epochのベンチマーク・ハブ（Benchmarking Hub）から選んだベンチマークのトレンドを示している。これらのベンチマークは、多様なスキルを網羅するように選んだ。
- FrontierMathは、研究レベルの数学の問題を解く能力を測る。
- GPQA Diamondは、生物学・物理学・化学にわたる大学院レベルの科学の問題を出題する。答えは「Google検索では見つからない（Google-proof）」ように作られている。
- Aider Polyglotは、難度の高いプログラミング問題群でのモデルの性能を評価する。
- SimpleBenchは、現在のモデルには難しいが人間には易しい問題を出すことで、常識推論を測るように設計されている。
- 視覚的物理理解テスト（Visual Physics Comprehension Test、VPCT）は、基本的な物理的状況についてのモデルの理解を評価するためのベンチマークである。
データ（原文・英語）
- 過去1年のベンチマークスコア CSV・Epoch AI