オープンウェイトモデルは最高水準に平均でおよそ3か月遅れている

最先端のオープンウェイトモデルは、Epochのモデル能力の総合的な指標であるEpoch能力指数（Epoch Capabilities Index、ECI）で、最も高性能なモデルに平均3か月遅れている。これはECIの差に換算して平均約7ポイントで、o3とGPT-5の差と同程度である。

ただし、この差は時期によって大きく変動し、完全に解消されることさえある。o1-miniがリリースされるまでは、Llama 3.1-405Bはクローズドソースの最高水準モデルであるClaude 3.5 Sonnetと同等と評価されていた。

この差についてのより詳しい分析は、以前の記事で読むことができる。