ベンチマークの問題に対するLLMの回答は時間とともに長くなっている

ベンチマークの問題に対して言語モデルが生成する回答の長さは、推論モデルと非推論モデルのどちらでも時間とともに増えている。Epochの社内ベンチマークによれば、推論モデルの回答は非推論モデルの回答（年2.2倍）よりもかなり速いペース（年5倍）で長くなっている。推論モデルは回答そのものも全体に長く、現在は平均で非推論モデルの約8倍のトークンを出力している。

推論モデルについては、強化学習（RL）の学習量を拡大するにつれて、より多くの推論トークンを生成するようになることが示されている。非推論モデルの回答が長くなっている理由はそれほど明らかではない。コンテキスト長が伸びる傾向、RLHF用のデータを作る際に評価者が長い回答を好むこと、あるいは思考の連鎖（Chain of Thought）プロンプティングからのコンテキスト蒸留の利用が増えていることを反映している可能性がある。最後に、今日のモデルは推論モデルと非推論モデルにはっきり分けられるが、将来のモデル（GPT-5など）ではこの境界があいまいになる兆しがある。