Claudeはソフトウェアエンジニアリングで実力以上の成績を示し、数学では下回る

AnthropicのClaudeモデルは、汎用のEpoch能力指数（Epoch Capabilities Index、ECI）の値と比べて、ソフトウェアエンジニアリングのベンチマーク（SWE-ECIで集約）では高い成績を示し、数学（Math-ECI）では低い成績にとどまる。ソフトウェアエンジニアリングでの上振れはほとんどの世代で一貫しており、最近のモデルでも続いている。数学での差は縮まりつつあるのかもしれない。Opus 4.6と4.7はいずれもMath-ECIが汎用ECIとの差1ポイント以内に収まっており、それ以前のモデルの差はより大きかった。

これらの結果は、Epoch AI の分野別ECIエクスプローラー（Domain-specific ECI Explorer）によるものである。そこでは数学とソフトウェアエンジニアリングのECIを閲覧したり、独自の派生版を設計したりできる。ECIの手法は、他の大規模言語モデルとの相対的な成績を比較するものであるため、タスクが人間にとってどれほど難しいかではなく、AIにとって平均的にどれほど難しいかを反映している。