データインサイト
LLMプロバイダーは正答率と速度のトレードオフを提供している
著者：Greg Burnham、Tom Adamczewski（Epoch AI）
主要な言語モデルプロバイダー全体で、ベンチマークで高い正答率を達成するモデルほど実行に時間がかかる。正答率と実行時間のトレードオフのフロンティア上では、誤答率を半分にすると、課題によってモデルの速度はおおむね2〜6分の1に低下する。
GPQA Diamond
MATH Level 5
OTIS Mock AIME 2024-2025
LLMプロバイダーには、モデルサイズ、クエリのバッチ処理、量子化など、性能とコストのバランスを取る手段がいくつかある。速度と正答率のトレードオフのフロンティア上にあるモデルの多くは、効率を重視して設計されたものとみられる。その半数以上がturbo、flash、mini、nanoという名前を冠している。このフロンティア上のモデルは、主にOpenAIとGoogleの2社のものである。
このグラフについて詳しく
Epochの社内ベンチマークデータを用いて、GPQA Diamond、MATH Level 5、OTIS Mock AIME 2024-2025の各ベンチマークで1問に回答するのにかかる平均時間を測定した。これを、各モデルのそのベンチマークでの正答率に対してプロットしている。注目するのはモデルのパレートフロンティア、すなわち自分より正答率の高いどのモデルよりも速いか、自分より速いどのモデルよりも正答率が高いモデルである。トレードオフは、実行時間の対数に対して誤答率が指数関数的に減衰するものとしてモデル化した。誤答率の半減は、それぞれ実行時間の6.0倍、1.7倍、2.8倍の増加に対応することが観察された。
また、これらのフロンティアの少なくとも1つに現れるモデルのうち、12/19の名前に「flash」「mini」「nano」が含まれていることにも注目したい。これらはおおむね、より大きなモデルの小型版であり、蒸留などの手法を用いて速度とコストに特化して最適化されている。
分析のコードはこちらで公開している。
← データインサイト一覧へ
