データインサイト
LLMはより長い入力を受け付けるようになり、最良のモデルはそれをより有効に使えるようになっている
著者：Greg Burnham、Tom Adamczewski（Epoch AI）
現在のLLMが1回のクエリで取り込めるトークン数には上限があり、これはしばしばコンテキストウィンドウ（context window）と呼ばれる。2023年半ば以降、LLMのコンテキストウィンドウの最長値は年約30倍のペースで伸びている。その入力を有効に使う能力はさらに速く向上している。2つの長文脈ベンチマークでは、上位モデルが80%の正答率に達する入力長が、過去9か月で250倍超に伸びた。
科学
法律
金融
テック
文学
それでも、まだ伸びしろは残っている。長い文脈を扱う実際のタスクの多くは、おそらくこれらのベンチマークより難しく、また、関連する内容のなかには、現在利用できる最長のウィンドウにさえ収まらないものもある。
このグラフについて詳しく
コンテキストウィンドウのサイズはArtificial Analysisから収集した。モデルのリリース日はEpochのAIモデルデータベースによる。これにより123モデルのデータを得た。
使用した2つの長文脈ベンチマークは、物語の読解を測るFiction.liveBenchと、文脈に依存する情報を取り出す能力を測るMRCRである。MRCRでは2-needleの設定を用いた。Fiction.liveBenchのデータはEpochのベンチマーキングハブで公開している。MRCRのデータはContext Arenaによる。データの利用にご協力いただいた両ベンチマークの作成者、kas氏とDillon Uzar氏に感謝する。
ベンチマークのデータは新しいモデルについてしかない。Fiction.liveBenchは37モデル、MRCRは49モデルのデータがあり、両方にあるのは30モデルである。
← データインサイト一覧へ
