GPT-6 Astraは数学のベンチマークでは首位だが、ソフトウェアエンジニアリングではそうではない

OpenAIのGPT-6 Astraは、Epoch AI のモデル能力の総合指標であるEpoch能力指数（Epoch Capabilities Index、ECI）で166のスコアを記録して首位に立ち、AnthropicのClaude Fable 5.1（164）とOpenAI自身のGPT-5.6 Sol（162）を上回った。ただし、この数字は複雑な事情を覆い隠している。AstraのMath-ECIは170で過去最高を更新した一方、ソフトウェアエンジニアリングのベンチマークでは、AstraのSWE-ECIは164で、依然としてFable 5.1の167に及ばない。

リリース前の評価にもとづき、Astraにはリリース時点でECI 169を付けていたが、ソフトウェアエンジニアリングのベンチマーク結果が増えるにつれてスコアは下がった。Math-ECIとSWE-ECIはいずれも分野別のECIで、1つの分野のベンチマークだけで再推定したものであり、一般のECIと比べたモデルの得意分野を測る。これらの指標や独自に選んだベンチマークの組み合わせは、分野別ECIエクスプローラーで確認できる。