Pythia Scaling Suite是一套用于促进可解释性研究的模型集合。它包含了大小为70M、160M、410M、1B、1.4B、2.8B、6.9B和12B的两组模型。对于每个尺寸，都有两个模型：一个在Pile数据集上训练，另一个在全局去重之后的Pile数据集上训练。所有8个模型尺寸都是使用完全相同的数据按照完全相同的顺序训练的。所有Pythia模型都可以在 on Hugging Face 中找到。

Pythia模型套件被有意地设计为促进大型语言模型的科学研究，特别是可解释性研究。尽管并没有将下游性能作为设计目标，但我们发现这些模型在性能方面与OPT和GPT-Neo套件中类似尺寸的模型相匹配甚至超过。

请注意，Pythia套件中的所有模型在2023年1月被重新命名。为了清楚起见，在该模型卡片中提供了一个比较旧名称和新名称的表格，并附有准确的参数计数。

Pythia-1.4B-deduped

模型细节

• 开发者： EleutherAI
• 模型类型：基于Transformer的语言模型
• 语言：英文
• 了解更多信息： Pythia's GitHub repository
• 库： GPT-NeoX
• 许可证：Apache 2.0
• 联系方式：如果对该模型有任何问题，请加入 EleutherAI Discord 并在 #release-discussion 频道中提问。在向EleutherAI Discord询问相关问题之前，请先阅读现有的Pythia文档。有关一般事务的联系方式：contact@eleuther.ai

Pythia model	Non-Embedding Params	Layers	Model Dim	Heads	Batch Size	Learning Rate	Equivalent Models
70M	18,915,328	6	512	8	2M	1.0 x 10 -3	—
160M	85,056,000	12	768	12	4M	6.0 x 10 -4	GPT-Neo 125M, OPT-125M
410M	302,311,424	24	1024	16	4M	3.0 x 10 -4	OPT-350M
1.0B	805,736,448	16	2048	8	2M	3.0 x 10 -4	—
1.4B	1,208,602,624	24	2048	16	4M	2.0 x 10 -4	GPT-Neo 1.3B, OPT-1.3B
2.8B	2,517,652,480	32	2560	32	2M	1.6 x 10 -4	GPT-Neo 2.7B, OPT-2.7B
6.9B	6,444,163,072	32	4096	32	2M	1.2 x 10 -4	OPT-6.7B
12B	11,327,027,200	36	5120	40	2M	1.2 x 10 -4	—

关于Pythia套件的工程细节。给定尺寸的去重和非去重模型具有相同的超参数。"等价"模型具有完全相同的架构和相同数量的非嵌入参数。

使用和限制

预期使用

Pythia的主要预期使用是对大型语言模型的行为、功能和限制进行研究。该套件旨在提供进行科学实验的受控环境。为了研究语言模型在训练过程中如何变化，我们为每个模型提供了143个均匀间隔的中间检查点。这些检查点作为分支托管在Hugging Face上。请注意，分支143000与每个模型的main分支上的模型检查点完全对应。

您还可以进一步微调和调整Pythia-1.4B-deduped，只要您的使用符合Apache 2.0许可证。Pythia模型可与Hugging Face Transformers Library 一起使用。如果您决定将预训练的Pythia-1.4B-deduped作为您微调模型的基础，请进行自己的风险和偏差评估。

超出范围的使用

Pythia套件不适用于部署。它本身不是一个产品，也不能用于与用户进行交互。

Pythia模型仅适用于英语，不适合用于其他语言的翻译或生成文本。

Pythia-1.4B-deduped未经过针对常见部署场景的下游微调，比如写作流派散文或商业聊天机器人。这意味着Pythia-1.4B-deduped的响应不会像ChatGPT等产品那样对给定提示进行回应。这是因为ChatGPT等模型使用增强学习等方法进行了微调，以更好地"理解"人类指令。

限制和偏差

大型语言模型的核心功能是接受字符串文本并预测下一个标记。该模型认为统计上最有可能的标记不一定会产生最"准确"的文本。请不要依赖Pythia-1.4B-deduped生成事实准确的输出。

该模型是在 the Pile 上进行训练的数据集，该数据集已知包含粗俗言语、淫秽或其他令人不快的文本。有关与性别、宗教和种族相关的已记录偏见的讨论，请参阅 Section 6 of the Pile paper 。即使提示本身不包含任何明确具有冒犯性的内容，Pythia-1.4B-deduped可能会生成不符合社会标准或不希望出现的文本。

如果您计划使用通过Hosted Inference API生成的文本，请在向其他人展示之前请一个人主持对该语言模型生成的文本进行筛选。请告知您的观众文本是由Pythia-1.4B-deduped生成的。

快速开始

Pythia模型可以通过以下代码加载和使用，这里以第三个pythia-70m-deduped检查点为例：

from transformers import GPTNeoXForCausalLM, AutoTokenizer

model = GPTNeoXForCausalLM.from_pretrained(
  "EleutherAI/pythia-70m-deduped",
  revision="step3000",
  cache_dir="./pythia-70m-deduped/step3000",
)

tokenizer = AutoTokenizer.from_pretrained(
  "EleutherAI/pythia-70m-deduped",
  revision="step3000",
  cache_dir="./pythia-70m-deduped/step3000",
)

inputs = tokenizer("Hello, I am", return_tensors="pt")
tokens = model.generate(**inputs)
tokenizer.decode(tokens[0])

修订/分支 step143000 正好对应于每个模型的main分支上保存的模型检查点。有关如何使用所有Pythia模型的更多信息，请参阅 documentation on GitHub 。

训练

训练数据

Pythia-1.4B-deduped是在去重后的Pile数据集上进行训练的。 The Pile 是一个英语的通用数据集，大小为825GiB。EleutherAI专门为训练大型语言模型而创建了它。它包含来自22个不同来源的文本，大致可分为五个类别：学术写作（例如arXiv）、互联网（例如CommonCrawl）、散文（例如Project Gutenberg）、对话（例如YouTube字幕）和其他（例如GitHub、Enron电子邮件）。请参阅 the Pile paper ，了解所有数据源、方法论和伦理问题的细分。有关Pile及其组成数据集的更详细文档，请咨询 the datasheet 。Pile可以从 official website 或者 community mirror 下载。

训练过程

所有模型都是在完全相同的数据上按照完全相同的顺序进行训练的。每个模型在训练过程中看到了299,892,736,000个标记，并且每2,097,152,000个标记保存了143个检查点，均匀分布在整个训练过程中。这相当于在非去重的数据上训练不到1个epoch，在去重后的数据上训练约1.5个epoch。

所有Pythia模型都以2,097,152个标记的批次大小进行了等效于143000个步骤的训练。使用了两个批次大小：2M和4M。批次大小为4M的模型实际上是在71500个步骤下训练的，每500个步骤保存一个检查点。Hugging Face上的检查点为了与所有2M批次模型保持一致而重新命名，所以step1000是保存的pythia-1.4b的第一个检查点（对应于训练中的step 500），同样，step1000也是保存的pythia-6.9b的第一个检查点（对应于1000个"实际"步骤）。有关训练过程的更多详细信息，请参阅 GitHub ，包括 how to reproduce it 。Pythia使用与 GPT-NeoX- 20B 相同的分词器。

评估

所有16个Pythia模型都使用 LM Evaluation Harness 进行了评估。您可以在results/json/*目录下按模型和步骤访问结果。请展开以下各节，查看所有Pythia和Pythia-deduped模型与OPT和BLOOM的评估结果的图表。

LAMBADA – OpenAI Physical Interaction: Question Answering (PIQA) WinoGrande AI2 Reasoning Challenge – Challenge Set SciQ

命名约定和参数计数

Pythia模型在2023年1月被重新命名。由于某些文档可能尚未进行更新，因此旧的命名约定可能仍然存在。当前的命名约定（70M、160M等）是基于总参数计数的。

current Pythia suffix	old suffix	total params	non-embedding params
70M	19M	70,426,624	18,915,328
160M	125M	162,322,944	85,056,000
410M	350M	405,334,016	302,311,424
1B	800M	1,011,781,632	805,736,448
1.4B	1.3B	1,414,647,808	1,208,602,624
2.8B	2.7B	2,775,208,960	2,517,652,480
6.9B	6.7B	6,857,302,016	6,444,163,072
12B	13B	11,846,072,320	11,327,027,200