項目の定義

モデルに関連する論文の要旨。

In this work, we develop and release Llama 2, a collection of pretrained and fine-tuned large language models (LLMs) ranging in scale from 7 billion to 70 billion parameters. Our fine-tuned LLMs, called Llama 2-Chat, are optimized for dialogue use cases. Our models outperform open-source chat models on most benchmarks we tested, and based on our human evaluations for helpfulness and safety, may be a suitable substitute for closedsource models. We provide a detailed description of our approach to fine-tuning and safety improvements of Llama 2-Chat in order to enable the community to build on our work and contribute to the responsible development of LLMs.

著者のコンマ区切りの一覧。

著者名は、可能な場合は本人が論文で名乗っている表記にする。例えば、Lê Viết Quốcは論文で「Quoc V. Le」と表記されている。

Hugo Touvron, Louis Martin, Kevin Stone, Peter Albert, Amjad Almahairi, Yasmine Babaei, Nikolay Bashlykov, Soumya Batra, Prajjwal Bhargava, Shruti Bhosale, Dan Bikel, Lukas Blecher, Cristian Canton Ferrer, Moya Chen, Guillem Cucurull, David Esiobu, Jude Fernandes, Jeremy Fu, Wenyin Fu, Brian Fuller, Cynthia Gao, Vedanuj Goswami, Naman Goyal, Anthony Hartshorn, Saghar Hosseini, Rui Hou, Hakan Inan, Marcin Kardas, Viktor Kerkez, Madian Khabsa, Isabel Kloumann, Artem Korenev, Punit Singh Koura, Marie-Anne Lachaux, Thibaut Lavril, Jenya Lee, Diana Liskovich, Yinghai Lu, Yuning Mao, Xavier Martinet, Todor Mihaylov, Pushkar Mishra, Igor Molybog, Yixin Nie, Andrew Poulton, Jeremy Reizenstein, Rashi Rungta, Kalyan Saladi, Alan Schelten, Ruan Silva, Eric Michael Smith, Ranjan Subramanian, Xiaoqing Ellen Tan, Binh Tang, Ross Taylor, Adina Williams, Jian Xiang Kuan, Puxin Xu, Zheng Yan, Iliyan Zarov, Yuchen Zhang, Angela Fan, Melanie Kambadur, Sharan Narang, Aurelien Rodriguez, Robert Stojnic, Sergey Edunov, Thomas Scialom

該当する場合、そのモデルのファインチューニング元の基盤モデル。

学習時に使ったバッチサイズ。

4000000

最終更新時点の引用数。可能な場合はSemantic Scholarから取得し、そうでなければGoogle Scholarから手作業で集める。

16911

Training compute（学習計算量）、Parameters（パラメータ数）、Training dataset size（学習データセットの規模）の記録値に対する私たちの確信度を表すメタデータ。値が記入されているもののうち、最も不確かなものの確信度を表す（通常は計算量が最も不確か）。

確信度の区分は次のように定義する。

• Confident（確度が高い）：一次情報源または信頼できる情報源にもとづく。それらの情報源が具体的な技術的詳細を示しており、正しいと確信できる方法で推定できる。例えば、ある研究所が技術論文で、モデルを30,000基のH100で45日間学習したと開示していれば、確度の高い推定ができる。DeepSeek v3はこの区分に入る。
• Likely（おそらく正しい）：方法の点ではConfidentと同様だが、方法に入力する情報がそれほど信頼できない。例えば、学習実行に使われたGPUの数を、詳しいリーク、信頼性の低い情報源（エンジニアがポッドキャストで話した内容など）、私たちが追跡しているデータセンターの規模、あいまいだが信頼できる情報源などをもとに推定する場合である。Grok 3はこの区分に入る。
• Speculative（推測的）：参考にはなるが確信は持てない方法や情報源にもとづく、私たちの最善の推測。例えば、能力が同程度のほかのモデルの学習に使われた計算量をもとに推定する場合である。推測的な推定は、さらに情報が明らかになると大きく変わることがある。推測的な推定の例はGPT-4oで、ベンチマークのスコアを使って学習に必要な計算量を推定した。

このほかに、次の区分もある。

• Unknown（不明）：情報が少なすぎて、推測的な推定すらできない。
• Wrong（誤り）：推定が誤っていると分かっており、修正待ちになっている。
• Unverified（未確認）：推定の確信度がまだ評価されていない。

Confident

開発組織に関連する国。Multinational（多国籍）は、複数の国に関連する組織を示すのに使う。

United States of America

モデルに関連する機械学習の応用分野。かなり大まかな分類で、例えば「Language」（言語）には多くの異なる機械学習のタスクが含まれる。

取りうる値：{{site.data.generated.pcd[key]all-domains | url_decode}}

Language

モデルが実行するよう設計された、細かい単位のタスク。モデルをさまざまな問題に当てはめる具体的な用途で、複数の分野にまたがることもある。

タスクのラベルはフローチャートに従って付ける。フローチャートの該当する分岐をそれぞれ、末端のノードに達するまでたどる。そのタスクがすでにデータベースにあれば、モデルにそのタスクのタグを付ける。まだデータベースになければ、モデルにそのタスクのタグを付け、タスクをフローチャートに追加する。

例：

• 顔認識
• 視覚的質問応答
• 三目並べ
• 天気予報

Language modeling, Language modeling/generation, Question answering

モデルの学習に使ったエポック数（学習データセットを繰り返した回数）。

1

該当する場合、モデルのファインチューニングに使った計算量。

学習に使ったハードウェアの数、つまりチップ数を示す。

1000

ハードウェアの利用率（利用したFLOP / 理論上の最大FLOP）を示す0.00〜1.00の数値。

この値は、モデルの学習に実際に役立った計算にもとづく利用率を表し、ハードウェアが実行した計算のうち最終的にモデルに影響しないものは含まない。

0.4191975017

ハードウェアの利用率（利用したFLOP / 理論上の最大FLOP）を示す0.00〜1.00の数値。

この値は、学習中にハードウェアで測定した計算スループットにもとづく利用率を表す。（得られる場合は、モデルFLOP利用率（MFU）のほうが利用率の指標として優れている。）

モデルを記録した最適な情報源へのリンク。学術誌や学会の論文、プレプリント、技術報告書を優先する。それらがなければ、発表記事やニュース記事など、ほかの裏づけとなる資料へのリンクにする。

https://ai.meta.com/research/publications/llama-2-open-foundation-and-fine-tuned-chat-models/ https://arxiv.org/abs/2307.09288

モデルの名前。データベース内で一意であり、そのモデルの最もよく知られた名前でなければならない。

この列は必ず記入し、データセットの項目を索引付けする主キーとして使う。

Llama 2-70B

モデルが満たしている「注目すべき」とみなす基準。注目すべきモデルとされるには、少なくとも一つの基準を満たす必要がある。

取りうる値は、引用数が多い、学習コストが大きい、利用が多い、最高水準、歴史的な重要性である。詳しくは収録基準で説明している。

Historical significance, Significant use, Highly cited, Training cost

モデルを作成した組織。

組織には複数の異なる名前がある場合があるが、同じ組織を指す名前はそろえるようにしている。そのため、組織名はAirtableで定期的に見直し、最もよく使われる名前にそろえている。

例えば、「University of California, Berkeley」と「Berkeley」は「UC Berkeley」に変更した。名前が似ていても本当に別の組織である場合もあることに注意してほしい。例えば、Google Brain、Google、Google DeepMindは別の組織である。

Meta AI

組織の分類。Organizationの記入内容から自動で入力される。著者が民間部門の組織に所属していれば「Industry」（産業界）、大学や学術機関に所属していれば「Academia」（学術界）、それぞれから著者の30%以上が出ていれば「Industry - Academia Collaboration」（産学連携）に分類する。

取りうる値：Industry、Research Collective、Academia、Industry - Academia Collaboration (Industry leaning)、Industry - Academia Collaboration (Academia leaning)、Non-profit

Industry

モデルの学習可能なパラメータの数。ニューラルネットワークでは、重みとバイアスにあたる。詳しくは推定方法で説明している。

7.0e+10

モデルの発表、告知、または公開の日付（YYYY-MM-DD形式）。年と月が分かっていて日が不明な場合は、日をYYYY-MM-15として記入する。年は分かっていて月と日が不明な場合は、月と日をYYYY-07-01として記入する。

2023-07-18

モデルの文献情報。学術誌や学会の論文、学術的なプレプリント、技術報告書の題名など。

Llama 2: Open Foundation and Fine-Tuned Chat Models

モデルの学習に使った計算量（FLOP）。そのモデルの合計の学習計算量（事前学習＋ファインチューニング）である。直接報告されていればその値を記入し、そうでなければGPU時間や逆伝播による勾配更新の回数から計算する。詳しい指針は推定方法で示している。

8.1e+0

学習の計算コスト。私たちの学習コストの方法論で説明している「償却したハードウェアの設備投資＋エネルギー」の手法で推定する。値は2023年の米ドルに換算している。

1,102,561.19

学習計算量をどのように把握または推定したかを示す。選択肢は次のとおり。

• 「Reported」（報告値）：開発者が学習計算量を報告している場合。
• 「Operation counting」（演算回数の計数）：パラメータ数、学習データ、アーキテクチャのいずれかまたは複数が分かっていて、それらから学習中に実行された演算回数を推定する場合。
• 「Hardware」（ハードウェア）：学習時間やハードウェアの種類が分かっていて、計算速度にもとづいて推定できる場合。
• 「Cost」（コスト）：学習コストが分かっていて、ハードウェアの使用予算から計算量を推定する場合。
• 「Benchmarks」（ベンチマーク）：ベンチマークの性能からモデルの学習計算量を推定した場合。

Hardware, Operation counting

学習に使ったハードウェアの種類。記入内容は、Epoch AIの機械学習用ハードウェアのデータベースと照合している。

NVIDIA A100 SXM4 80 GB

報告されている場合、モデルの学習時間。チップ時間の合計ではなく、学習の過程で経過した時間を指す。例えば、10基のGPUで1時間学習したモデルの学習時間は1時間である。

事前学習、事後学習、強化学習（RL）、教師ありファインチューニング（SFT）など、モデルの開発で行ったすべての学習段階の期間を含む。

モデルが以前に公開されたモデルからファインチューニングされている場合、その基盤モデルの学習時間は含まない。

1728

モデルの学習に使ったハードウェアの消費電力（ワット）。ハードウェアの数 × プロセッサーのTDP × データセンターのPUE × サーバーのオーバーヘッドで計算する。詳しくは消費電力の推定で説明している。

795557

モデルがフロンティアに入っていたかどうかを示す。フロンティアとは、公開日の時点で学習計算量が上位5位以内だったモデルと定義する。

モデルが10²³回以上の浮動小数点演算で学習された（またはその可能性がある）かどうかを示す。該当すれば、大規模モデルのデータセットに収録する対象になる。

True

モデルの利用可能性。モデルの重みをダウンロードできるか、重みが入手できない場合はAPIや製品でモデルを使えるかで分類する。

Open weights (restricted use)

一般の人がモデルにどのようにアクセスし、使えるかを示す。「Open weights (unrestricted)」（オープンウェイト、制限なし）、「Open weights (restricted use)」（オープンウェイト、利用制限あり）、「Open weights (non-commercial)」（オープンウェイト、非商用）は、いずれも一般の人がモデルの重みをダウンロードできることを意味するが、利用の制限が異なる。「API access」（APIでのアクセス）は、モデルをアプリケーション・プログラミング・インターフェース（API）経由でしか使えないことを意味し、ホスト型サービスでも使える場合がある。「Hosted access (no API)」（ホスト型でのアクセス、APIなし）は、モデルをホスト型サービス経由でしか使えないことを意味する。「Unreleased」（未公開）は、一般の人がモデルにアクセスする手段がないことを意味する。

Unreleased

特定の列（例えば学習計算量やデータセットの規模）について、推論の過程や根拠を記録したメタデータ。こうした情報が自明でない場合には、記録しておくことが特に重要である。この項目は構造化されていないテキストである。

“Pretraining utilized a cumulative 3.3M GPU hours of computation on hardware of type A100-80GB” of which 1720320 GPU hours were used to train the 70B model.

311.84 BF16 TFLOP/s * 1720320 hours * 0.40 utilization = 7.725e+23 FLOP.

Alternatively: the model was trained for 1 epoch on 2 trillion tokens and has 70B parameters. C = 6ND = 670B2T = 8.4e+23 FLOP.