Pythia Scaling Suite 是一个用于促进解释性研究的模型集合。它包含了两组大小为70M、160M、410M、1B、1.4B、2.8B、6.9B和12B的八个模型，对于每个大小，都有两个模型：一个是在数据集去重后训练得到的Pile模型，另一个是在原始Pile上训练得到的模型。所有八个模型大小都是按照完全相同的数据、完全相同的顺序进行训练的。所有的Pythia模型都可以在这里找到 on Hugging Face 。

Pythia模型套件的设计初衷是为了促进大型语言模型的科学研究，尤其是解释性研究。尽管其设计目标并没有以下游性能为中心，但我们发现这些模型在性能上与OPT和GPT-Neo等类似大小的模型相匹配或超过。

请注意，Pythia套件中的所有模型名称在2023年1月进行了更改。为了明确起见，在本模型卡中提供了一个表格，用于比较旧名称和新名称，同时还包括了确切的参数计数。

Pythia-70M

模型详情

• 开发者： EleutherAI
• 模型类型：基于Transformer的语言模型
• 语言：英语
• 了解更多信息： Pythia's GitHub repository 了解训练过程、配置文件和使用细节
• 库： GPT-NeoX
• 许可证：Apache 2.0
• 联系方式：如果您对该模型有任何问题，请加入 EleutherAI Discord ，并在 #release-discussion 频道中提问。在向 EleutherAI Discord询问问题之前，请先阅读现有的 Pythia 文档。若需一般性的联系，请发送邮件至 contact@eleuther.ai。

Pythia model	Non-Embedding Params	Layers	Model Dim	Heads	Batch Size	Learning Rate	Equivalent Models
70M	18,915,328	6	512	8	2M	1.0 x 10 -3	—
160M	85,056,000	12	768	12	4M	6.0 x 10 -4	GPT-Neo 125M, OPT-125M
410M	302,311,424	24	1024	16	4M	3.0 x 10 -4	OPT-350M
1.0B	805,736,448	16	2048	8	2M	3.0 x 10 -4	—
1.4B	1,208,602,624	24	2048	16	4M	2.0 x 10 -4	GPT-Neo 1.3B, OPT-1.3B
2.8B	2,517,652,480	32	2560	32	2M	1.6 x 10 -4	GPT-Neo 2.7B, OPT-2.7B
6.9B	6,444,163,072	32	4096	32	2M	1.2 x 10 -4	OPT-6.7B
12B	11,327,027,200	36	5120	40	2M	1.2 x 10 -4	—

Pythia Suite的工程细节。对于给定大小的去重和非去重模型，其超参数是相同的。"等效"模型具有完全相同的架构，且非嵌入参数的数量也相同。

用途和限制

所期望的用途

Pythia主要用于对大型语言模型的行为、功能和限制进行研究。该套件旨在提供进行科学实验的受控环境。为了研究语言模型在训练过程中的变化，我们提供了每个模型的143个均匀间隔的中间检查点。这些检查点以分支的形式托管在Hugging Face上。注意，分支143000与每个模型的 main 分支上的模型检查点完全对应。

您还可以进一步微调并适应 Pythia-70M 以进行部署，只要使用符合 Apache 2.0 许可证的方式。Pythia模型与Hugging Face Transformers Library 兼容。如果您决定使用预训练的 Pythia-70M 作为您的微调模型的基础，请进行自己的风险和偏差评估。

不在范围内的用途

Pythia套件不适用于部署，它本身不是一个产品，不能用于面向人类的交互。

Pythia模型仅支持英语，不适用于其他语言的翻译或生成文本。

Pythia-70M 尚未针对语言模型常见部署的下游环境进行微调，比如写作流派散文或商业聊天机器人。这意味着 Pythia-70M 不会像 ChatGPT 等产品那样根据特定提示进行回应。这是因为与该模型不同，ChatGPT经过了诸如强化学习从人类反馈中学习（RLHF）等方法进行微调，以更好地“理解”人类指令。

限制和偏见

大型语言模型的核心功能是接收一个文本字符串并预测下一个标记。模型认为统计上最有可能的标记并不一定产生最“准确”的文本。不要依赖Pythia-70M来生成事实准确的输出。

该模型是在 the Pile 上进行训练的，该数据集包含含有亵渎、淫秽或具有其他冒犯性的文本。有关性别、宗教和种族方面的已记录偏见，请参阅 Section 6 of the Pile paper 进行讨论。即使提示本身没有任何明确冒犯性的内容，Pythia-70M也可能生成不符合社会规范或不受欢迎的文本。

如果您计划使用通过Hosted Inference API生成的文本，我们建议在向他人展示之前，请人工对该语言模型生成的文本进行筛选。请告知您的受众该文本是由Pythia-70M生成的。

快速入门

可以通过以下代码加载和使用Pythia模型，这里以加载第三个pythia-70m-deduped检查点为例：

from transformers import GPTNeoXForCausalLM, AutoTokenizer

model = GPTNeoXForCausalLM.from_pretrained(
  "EleutherAI/pythia-70m-deduped",
  revision="step3000",
  cache_dir="./pythia-70m-deduped/step3000",
)

tokenizer = AutoTokenizer.from_pretrained(
  "EleutherAI/pythia-70m-deduped",
  revision="step3000",
  cache_dir="./pythia-70m-deduped/step3000",
)

inputs = tokenizer("Hello, I am", return_tensors="pt")
tokens = model.generate(**inputs)
tokenizer.decode(tokens[0])

修订版/分支 step143000 与每个模型的 main 分支上的模型检查点完全对应。有关如何使用所有的Pythia模型的更多信息，请参阅 documentation on GitHub 。

训练

训练数据

The Pile 是一个用于训练大型语言模型的825TiB通用数据集。EleutherAI专门为此目的创建了该数据集。它包含来自22个不同来源的文本，大致分为五类：学术写作（例如arXiv）、互联网（例如CommonCrawl）、散文（例如Project Gutenberg）、对话（例如YouTube字幕）和其他杂项（例如GitHub、Enron电子邮件）。有关所有数据来源、方法论以及伦理影响的详细分析，请参阅 the Pile paper 。有关Pile及其组成数据集的更详细说明，请参阅 the datasheet 。可以从 official website 或以下 community mirror

训练过程

所有模型的训练数据完全相同且顺序一致。每个模型在训练过程中共处理了299,892,736,000个标记，并且每隔2,097,152,000个标记保存143个检查点，这些检查点在整个训练过程中等间隔分布。这对应于在非去重模型上对Pile进行不到1个时期的训练，以及在去重后的Pile上训练大约1.5个时期。

所有 Pythia 模型在批大小为2,097,152个标记的情况下进行了等效于143,000步的训练。使用了两个批大小：2M和4M。批大小为4M的模型在训练时原本是在71500步处保存检查点，并每500步保存一次。Hugging Face上的检查点名称与所有2M批模型保持一致，因此对于 pythia-1.4b， step1000 是保存的第一个检查点（对应训练中的第500步），同样地， step1000 也是保存的第一个 pythia-6.9b 检查点（对应于1000“实际”步）。有关训练过程的更多详细信息，请参阅 GitHub ，包括 how to reproduce it 。 Pythia 使用与 GPT-NeoX- 20B 相同的分词器。

评估

所有16个 Pythia 模型均使用 LM Evaluation Harness 进行评估。您可以通过模型和步数在 GitHub repository 的 results/json/* 中获取结果。展开下面的章节即可查看Pythia和Pythia-deduped模型与OPT和BLOOM模型之间评估结果的图表对比。

LAMBADA – OpenAI Physical Interaction: Question Answering (PIQA) WinoGrande AI2 Reasoning Challenge—Challenge Set SciQ

命名约定和参数计数

Pythia 模型在2023年1月进行了更名。由于某些文档可能出于错误而仍然使用旧的命名约定。当前的命名约定（70M，160M等）基于总参数计数。

current Pythia suffix	old suffix	total params	non-embedding params
70M	19M	70,426,624	18,915,328
160M	125M	162,322,944	85,056,000
410M	350M	405,334,016	302,311,424
1B	800M	1,011,781,632	805,736,448
1.4B	1.3B	1,414,647,808	1,208,602,624
2.8B	2.7B	2,775,208,960	2,517,652,480
6.9B	6.7B	6,857,302,016	6,444,163,072
12B	13B	11,846,072,320	11,327,027,200