Pythia Scaling Suite是一套用于促进可解释性研究的模型集合。它包含了大小为70M、160M、410M、1B、1.4B、2.8B、6.9B和12B的两组八个模型。每个大小都有两个模型：一个是在Pile上训练的模型，一个是在全局去重的数据集上训练的模型。所有8个模型大小都是以完全相同的数据、完全相同的顺序进行训练的。我们还在Hugging Face上提供了每个模型的154个中间检查点分支。

Pythia模型套件旨在促进关于大型语言模型的科学研究，特别是可解释性研究。尽管下游性能并不是设计目标，但我们发现这些模型在性能上与OPT和GPT-Neo套件中类似大小的模型相匹配或超过。

之前的早期版本和命名约定的详细信息。

之前，我们向公众发布了Pythia套件的早期版本。然而，我们决定重新训练模型套件以解决一些超参数的不一致。这个模型卡片列出了这些更改的内容，请参阅Pythia论文的附录B进行进一步讨论。我们发现两个Pythia版本在基准性能上没有差异。旧模型的ID是 still available ，但如果您刚开始使用Pythia，我们建议使用重新训练的套件。这是当前发布的版本。

请注意，Pythia套件中的所有模型在2023年1月改名。为了明确起见，本模型卡片提供了一个比较旧名称和新名称的表格，并附带精确的参数计数。

Pythia-2.8B-deduped

模型详情

• 开发者： EleutherAI
• 模型类型：基于Transformer的语言模型
• 语言：英语
• 了解更多信息： Pythia's GitHub repository 了解训练过程、配置文件和使用详情。 See paper 了解更多评估和实现细节。
• 库： GPT-NeoX
• 许可证：Apache 2.0
• 联系方式：有关此模型的问题，请加入 EleutherAI Discord ，并在#release-discussion频道中发布问题。在Pythia的EleutherAI Discord中询问问题之前，请阅读现有的Pythia文档。有关一般事务，请发送电子邮件至contact@eleuther.ai。

Pythia model	Non-Embedding Params	Layers	Model Dim	Heads	Batch Size	Learning Rate	Equivalent Models
70M	18,915,328	6	512	8	2M	1.0 x 10 -3	—
160M	85,056,000	12	768	12	2M	6.0 x 10 -4	GPT-Neo 125M, OPT-125M
410M	302,311,424	24	1024	16	2M	3.0 x 10 -4	OPT-350M
1.0B	805,736,448	16	2048	8	2M	3.0 x 10 -4	—
1.4B	1,208,602,624	24	2048	16	2M	2.0 x 10 -4	GPT-Neo 1.3B, OPT-1.3B
2.8B	2,517,652,480	32	2560	32	2M	1.6 x 10 -4	GPT-Neo 2.7B, OPT-2.7B
6.9B	6,444,163,072	32	4096	32	2M	1.2 x 10 -4	OPT-6.7B
12B	11,327,027,200	36	5120	40	2M	1.2 x 10 -4	—

Pythia套件的工程细节。给定大小的去重和非去重模型具有相同的超参数。"等效"模型具有完全相同的架构和相同数量的非嵌入参数。

用途和限制

预期用途

Pythia的首要预期用途是研究大型语言模型的行为、功能和限制。这个套件旨在为科学实验提供一个受控环境。我们还提供了每个模型的154个检查点：初始步骤0，10个对数间隔的检查点step{1,2,4...512}，以及从step1000到step143000的143个均匀间隔的检查点。这些检查点由Hugging Face托管。请注意，分支143000与各个模型的main分支上的模型检查点完全对应。

您也可以进一步微调和调整Pythia-2.8B-deduped以进行部署，只要您的使用符合Apache 2.0许可证。Pythia模型可以与Hugging Face的 Transformers Library 一起使用。如果您决定将预训练的Pythia-2.8B-deduped作为您微调模型的基础，请进行自己的风险和偏差评估。

超出范围的用途

Pythia套件不适用于部署。它本身不是一个产品，不能用于面向人类的交互。例如，该模型可能生成有害或冒犯性的文本。请评估您特定用例的风险。

Pythia模型仅适用于英语，不适用于其他语言的翻译或文本生成。

Pythia-2.8B-deduped没有针对下游环境进行微调，下游环境通常部署语言模型，例如写作体裁散文或商业聊天机器人。这意味着Pythia-2.8B-deduped不会像ChatGPT等产品那样根据特定提示做出回应。这是因为ChatGPT等模型使用了通过人类反馈进行强化学习的方法，以更好地“遵循”人类指令进行微调。

限制和偏见

大型语言模型的核心功能是接受一个字符串，然后预测下一个标记。模型使用的标记不一定会产生最“准确”的文本。永远不要依赖Pythia-2.8B-deduped生成准确的输出。

该模型是在包含粗口、淫秽或其他冒犯性文本的数据集 the Pile 上进行训练的。有关性别、宗教和种族存在的已记录的偏见，请参阅 Section 6 of the Pile paper 进行讨论。即使提示本身没有包含任何明确冒犯的内容，Pythia-2.8B-deduped可能会生成不符合社会道德或不可取的文本。

如果您计划使用通过Hosted Inference API生成的文本，我们建议在呈现给其他人之前由人员筛选此语言模型的输出。请告知您的听众这段文本是由Pythia-2.8B-deduped生成的。

快速入门

您可以使用以下代码加载和使用Pythia模型，这里演示了第三个pythia-70m-deduped检查点的示例：

from transformers import GPTNeoXForCausalLM, AutoTokenizer

model = GPTNeoXForCausalLM.from_pretrained(
  "EleutherAI/pythia-70m-deduped",
  revision="step3000",
  cache_dir="./pythia-70m-deduped/step3000",
)

tokenizer = AutoTokenizer.from_pretrained(
  "EleutherAI/pythia-70m-deduped",
  revision="step3000",
  cache_dir="./pythia-70m-deduped/step3000",
)

inputs = tokenizer("Hello, I am", return_tensors="pt")
tokens = model.generate(**inputs)
tokenizer.decode(tokens[0])

分支step143000与各个模型的main分支上的模型检查点完全对应。有关如何使用所有Pythia模型的更多信息，请参阅 documentation on GitHub 。

训练

训练数据

Pythia-2.8B-deduped在经过全球去重的Pile上进行训练。 The Pile 是一个825GiB的通用英文数据集，由EleutherAI专门用于训练大型语言模型。它包含来自22个不同来源的文本，大致分为五类：学术写作（例如arXiv）、互联网（例如CommonCrawl）、散文（例如Project Gutenberg）、对话（例如YouTube字幕）和其他（例如GitHub、Enron电子邮件）。详细了解所有数据源的信息、方法和伦理影响，请参阅 the Pile paper 。有关Pile及其组成数据集的详细文档，请参阅 the datasheet 。Pile可以从 official website 下载，也可以从 community mirror 获取。

训练过程

所有模型都是在完全相同的数据、完全相同的顺序下进行训练的。每个模型在训练过程中遇到了299,892,736,000个标记，并且每个模型保存了143个检查点，每2,097,152,000个标记保存一个检查点，从step1000到step143000（与main相同）。此外，我们还提供了频繁的早期检查点：step0和step{1,2,4...512}。这相当于在未去重的模型上训练不到1个时期，在去重后的Pile上训练约1.5个时期。

所有Pythia模型在批量大小为2M（2,097,152个标记）的情况下进行了143000个步骤的训练。有关训练过程的更多详细信息，请参阅 GitHub ，包括 how to reproduce it 。Pythia使用与 GPT-NeoX- 20B 相同的分词器。

评估

所有16个Pythia模型都使用 LM Evaluation Harness 进行了评估。您可以在 GitHub repository 中按模型和步骤访问结果/json/*中的结果。请展开下面的章节，以查看所有Pythia和Pythia-deduped模型与OPT和BLOOM进行比较的评估结果的绘图。

LAMBADA – OpenAI 物理交互：问答（PIQA） WinoGrande AI2推理挑战-简单集 SciQ

更新日志

此部分比较以前发布的 Pythia v0 与当前模型之间的差异。有关这些更改及其背后动机的详细讨论，请参阅Pythia论文的附录B。我们发现重新训练Pythia对基准性能没有影响。

• 现在，所有模型大小都使用统一的2M标记批量大小进行训练。以前，大小为160M、410M和1.4B个参数的模型使用了4M标记的批量大小进行训练。
• 我们在初始化（step 0）和步骤{1,2,4,8,16,32,64,128,256,512}之后添加了检查点，以及每1000个训练步骤保存一个检查点。
• 新的重新训练套件中使用了Flash Attention。
• 我们纠正了原套件中存在的轻微不一致：大小为2.8B个参数或更小的所有模型都具有学习率（LR）计划，将LR衰减为最小LR的起始LR的10%，但6.9B和12B个参数的模型都使用了将LR衰减为0的LR计划。在重新训练运行中，我们纠正了这个不一致：现在，所有模型都使用将LR衰减到最大LR的0.1倍的最小LR进行训练。

命名约定和参数计数

Pythia模型在2023年1月更名。一些文档可能仍然意外保留旧的命名约定。当前的命名约定（70M、160M等）基于总参数计数。

current Pythia suffix	old suffix	total params	non-embedding params
70M	19M	70,426,624	18,915,328
160M	125M	162,322,944	85,056,000
410M	350M	405,334,016	302,311,424
1B	800M	1,011,781,632	805,736,448
1.4B	1.3B	1,414,647,808	1,208,602,624
2.8B	2.7B	2,775,208,960	2,517,652,480
6.9B	6.7B	6,857,302,016	6,444,163,072
12B	13B	11,846,072,320	11,327,027,200