データインサイト
GPT-4は、ほかのどのモデルよりもはるかに長くECIの首位を保った
著者:Jaeho Lee(Epoch AI)
OpenAIのGPT-4は、2023年3月のリリース後およそ1年にわたって、言語モデルの能力を総合的に測るEpoch AIの指標であるEpoch能力指数(Epoch Capabilities Index、ECI)の首位にあった。それ以降、これほど長く首位を保ったモデルはない。2番目に長いOpenAIのo1の首位期間は3か月強で、GPT-4の3分の1にも満たなかった。
上のグラフはECIのフロンティアの推移を示しており、各段は新しいモデルが首位に立ったことを表す。2024年2月にGPT-4を抜いたClaude 3 Opusを皮切りに、2026年6月までに17のモデルが首位に立ち、各モデルが首位を保った期間の中央値は約7週間だった。比較の起点はGPT-4のリリース日である2023年3月14日とした。
このグラフについて詳しく
各時点でECIが最も高いモデルがどれか、そしてそのモデルがどれだけの期間リーダーボードの首位にとどまるかを追跡した。ECIは時間とともにわずかに変動しうるが、モデルの順位を大きく入れ替えるほどになることはまれである。とはいえ、これは振り返っての見方であり、各モデルのリリース日以降にECIの推定値が変わったことは考慮していない。
← データインサイト一覧へ