Pythia Scaling Suite 是一系列旨在推动可解释性研究的模型集合。它包含了两组八种规模的模型，分别为70M、160M、410M、1B、1.4B、2.8B、6.9B和12B。对于每个规模，都有两个模型：一个在数据集经过全局删除重复处理后进行训练的模型，一个在原始数据集上进行训练的模型。所有8种模型规模使用相同的数据，按照相同的顺序进行训练。所有Pythia模型均可在 on Hugging Face 处获取。

Pythia模型套件是专为大型语言模型的行为研究、功能和限制研究而设计的。尽管并没有将下游性能作为设计目标，但我们发现这些模型的性能与OPT和GPT-Neo套件中的类似大小的模型相匹配甚至超越。

请注意，Pythia套件中所有模型的名称在2023年1月进行了更名。在本模型卡中提供了一个比较旧名称和新名称的表格，以及精确的参数统计信息。

Pythia-410M

模型详情

• 开发者： EleutherAI
• 模型类型：基于Transformer的语言模型
• 语言：英语
• 了解更多： Pythia's GitHub repository ，了解训练过程、配置文件和使用详情
• 库： GPT-NeoX
• 许可证：Apache 2.0
• 联系方式：要提问关于此模型的问题，请加入 EleutherAI Discord ，然后在#release-discussion频道发布问题。请在EleutherAI Discord中的现有Pythia文档中提问之前阅读相关文档。一般联系方式：contact@eleuther. ai

Pythia model	Non-Embedding Params	Layers	Model Dim	Heads	Batch Size	Learning Rate	Equivalent Models
70M	18,915,328	6	512	8	2M	1.0 x 10 -3	—
160M	85,056,000	12	768	12	4M	6.0 x 10 -4	GPT-Neo 125M, OPT-125M
410M	302,311,424	24	1024	16	4M	3.0 x 10 -4	OPT-350M
1.0B	805,736,448	16	2048	8	2M	3.0 x 10 -4	—
1.4B	1,208,602,624	24	2048	16	4M	2.0 x 10 -4	GPT-Neo 1.3B, OPT-1.3B
2.8B	2,517,652,480	32	2560	32	2M	1.6 x 10 -4	GPT-Neo 2.7B, OPT-2.7B
6.9B	6,444,163,072	32	4096	32	2M	1.2 x 10 -4	OPT-6.7B
12B	11,327,027,200	36	5120	40	2M	1.2 x 10 -4	—

Pythia Suite的工程细节。给定大小的去重和非去重模型具有相同的超参数。"等效"模型具有完全相同的架构和相同数量的非嵌入参数。

使用和限制

预期用途

Pythia的主要预期用途是研究大型语言模型的行为、功能和限制。该套件旨在提供进行科学实验的受控环境。为了研究语言模型在训练过程中的变化，我们提供了每个模型的143个均匀间隔的中间检查点。这些检查点作为分支托管在Hugging Face上。请注意，分支143000与每个模型的主分支上的模型检查点完全对应。

您还可以进一步对Pythia-410M进行微调和适应，只要您的使用符合Apache 2.0许可证。Pythia模型可与Hugging Face Transformers Library 一起使用。如果您决定将预训练的Pythia-410M用作微调模型的基础，请自行进行风险和偏差评估。

范围之外的使用

Pythia Suite不适用于部署。它本身不是一个产品，不能用于面向人类的交互。

Pythia模型仅适用于英语，不适用于其他语言的翻译或生成文本。

Pythia-410M未经过针对常见部署的下游场景的微调，例如写作风格散文或商业聊天机器人。这意味着Pythia-410M不会像ChatGPT这样根据给定提示做出回应。这是因为与这个模型不同，ChatGPT使用了强化学习从人类反馈中学习的方法以更好地"理解"人类指令。

限制和偏见

大型语言模型的核心功能是接受一串文本并预测下一个标记。模型根据统计概率认为最有可能的标记未必产生最"准确"的文本。永远不要依赖Pythia-410M生成事实准确的输出。

这个模型是训练在名为 the Pile 的数据集上的，该数据集已知包含亵渎、淫秽或其他冒犯性的文本。有关与性别、宗教和种族相关的已记录偏见的讨论，请参阅 Section 6 of the Pile paper 。即使提示本身不包含任何明确冒犯性的内容，Pythia-410M也可能生成社会不可接受或不希望的文本。

如果计划使用通过Hosted Inference API生成的文本，我们建议在向其他人展示之前，请人类对这种语言模型的输出进行策展。请告知您的听众这些文本是由Pythia-410M生成的。

快速入门

Pythia模型可以通过以下代码加载和使用，下面演示了对pythia-70m-deduped的第三个checkpoint的操作：

from transformers import GPTNeoXForCausalLM, AutoTokenizer

model = GPTNeoXForCausalLM.from_pretrained(
  "EleutherAI/pythia-70m-deduped",
  revision="step3000",
  cache_dir="./pythia-70m-deduped/step3000",
)

tokenizer = AutoTokenizer.from_pretrained(
  "EleutherAI/pythia-70m-deduped",
  revision="step3000",
  cache_dir="./pythia-70m-deduped/step3000",
)

inputs = tokenizer("Hello, I am", return_tensors="pt")
tokens = model.generate(**inputs)
tokenizer.decode(tokens[0])

Revision/branch step143000与每个模型的主分支上的模型检查点完全一致。有关如何使用所有Pythia模型的更多信息，请参见 documentation on GitHub 。

训练

训练数据

The Pile 是一份英文的825GiB通用数据集。EleutherAI专门为训练大型语言模型而创建了这个数据集。它包含来自22个不同来源的文本，大致分为五类：学术写作（例如arXiv）、互联网（例如CommonCrawl）、散文（例如Project Gutenberg）、对话（例如YouTube字幕）和其他杂项（例如GitHub、Enron邮件）。有关所有数据源、方法论的详细介绍和对伦理问题的讨论，请参阅 the Pile paper 。有关Pile及其组成数据集的更详细文档，请参阅 the datasheet 。可以从 official website 或 community mirror 处下载Pile数据集。Pythia-410M在使用之前并没有进行删除重复。

训练过程

所有模型均在完全相同的数据上以完全相同的顺序进行训练。每个模型在训练过程中看到了299,892,736,000个标记，并且每2,097,152,000个标记保存了143个检查点，均匀分布在整个训练过程中。这相当于在非去重模型上训练不到1个epoch，在去重的Pile上约为1.5个epoch。

所有Pythia模型在批量大小为2,097,152个标记的情况下进行了等效于143,000个步骤的训练。使用了两个批量大小：2M和4M。如果列表中列出了批量大小为4M的模型，最初进行的训练步骤为71500，每500步保存一次检查点。在Hugging Face上的检查点名称与所有2M批量模型保持一致，因此step1000是第一个保存的pythia-1.4b检查点（对应于训练中的第500步），同样地，step1000也是第一个保存的pythia-6.9b检查点（对应于1000个"实际"步骤）。有关训练过程的更多详细信息，请参见 GitHub ，包括 how to reproduce it 。Pythia使用与 GPT-NeoX- 20B 相同的分词器。

评估

通过 LM Evaluation Harness 对所有16个Pythia模型进行了评估。您可以在results/json/*在 GitHub repository 处按模型和步骤访问结果。展开下面的部分以查看所有Pythia和Pythia-deduped模型与OPT和BLOOM的评估结果的图表。

LAMBADA–OpenAI Physical Interaction: Question Answering (PIQA) WinoGrande AI2 Reasoning Challenge—Challenge Set SciQ

命名约定和参数统计

Pythia模型在2023年1月进行了重命名。旧的命名约定可能仍然在某些文档中出现错误。当前的命名约定（70M、160M等）基于总参数计数。

current Pythia suffix	old suffix	total params	non-embedding params
70M	19M	70,426,624	18,915,328
160M	125M	162,322,944	85,056,000
410M	350M	405,334,016	302,311,424
1B	800M	1,011,781,632	805,736,448
1.4B	1.3B	1,414,647,808	1,208,602,624
2.8B	2.7B	2,775,208,960	2,517,652,480
6.9B	6.7B	6,857,302,016	6,444,163,072
12B	13B	11,846,072,320	11,327,027,200