データインサイト
LLMの推論実行価格は急速に下落しているが、その速さは課題によって大きく異なる
著者：Ben Cottier、Ben Snodin、David Owen、Tom Adamczewski（Epoch AI）
LLMの推論実行（インファレンス）の価格は、ここ数年で劇的に下落している。過去3年間に6つのベンチマークで最高水準（SOTA）のモデルが達成した結果を調べ、それと同じ水準を達成するための価格がどれほどの速さで下がったかを測定した。たとえば、博士レベルの科学問題集でGPT-4の性能を達成するための価格は、年40倍のペースで下落した。下落の速さは性能の目標水準によって大きく異なり、年9倍から年900倍までの幅がある。この範囲で最も急速な下落はこの1年に起きたものなので、今後も続くかどうかはそれほど明らかではない。
全ベンチマーク
MMLU（一般知識）
GPQA Diamond（博士レベルの科学問題）
MATH-500（数学）
MATH 5（高度な数学）
HumanEval（コーディング）
LMSys Chatbot Arena ELO（チャットボット対戦）
こうした価格下落には多くの理由が考えられる。モデルの小型化や、ハードウェアの費用対効果の向上のようによく知られたものもあれば、公開情報からは特定しにくい重要な要因もあるかもしれない。
このグラフについて詳しく
このデータインサイトのデータセットは、Artificial AnalysisとEpoch AIによる大規模言語モデル（LLM）のAPI価格とベンチマークスコアのデータを組み合わせたものである。このデータセットを用いて、あるベンチマークで所定のスコア以上を達成するLLMのうち最も価格の低いものを特定した。次に、それらのLLMの価格の推移に対数線形回帰モデルを当てはめ、価格の下落率を測定した。同じ手法を複数のベンチマーク（MMLU、HumanEvalなど）と性能の閾値（GPT-3.5水準、GPT-4o水準など）に適用し、性能指標によるばらつきを調べた。
なお、このデータインサイトでは価格下落をもたらす要因について若干の考察を示しているが、これらの要因を明示的にモデル化してはいない。利益率の低下が価格下落の一部を説明している可能性もあるが、その明確な証拠は見つからなかった。
分析を再現するためのコードはこちらにある。
← データインサイト一覧へ
