Pythia Scaling Suite是一组模型，旨在促进可解释性研究。它包含两套大小为70M、160M、410M、1B、1.4B、2.8B、6.9B和12B的模型。对于每个大小，都有两个模型：一个是在Pile上训练的，一个是在Pile经过全局去重处理后训练的。所有8种模型大小都使用相同的数据以相同的顺序进行训练。我们还提供每个模型的154个中间检查点，作为Hugging Face的分支进行托管。

Pythia模型套件的设计目标是促进大型语言模型的科学研究，尤其是可解释性研究。尽管下游性能不是设计目标，但我们发现这些模型的性能与OPT和GPT-Neo套件中相似大小的模型相匹配或超过。

之前，我们向公众发布了Pythia套件的早期版本。然而，我们决定重新训练模型套件，以解决一些超参数不一致的问题。这个模型卡片列出了更改内容，请参阅Pythia论文的附录B以获取进一步讨论。我们发现两个Pythia版本在基准性能方面没有差异。旧模型是 still available ，但如果您刚开始使用Pythia，我们建议使用重新训练的套件。这是当前的发布版本。

请注意，Pythia套件中的所有模型在2023年1月更名。为了清楚起见，在此模型卡片中提供了旧名称和新名称的对比表，以及精确的参数计数。

Pythia-12B

模型细节

• 开发者： EleutherAI
• 模型类型：基于Transformer的语言模型
• 语言：英语
• 了解更多信息： Pythia's GitHub repository （有关训练过程、配置文件和使用详细信息）、 See paper （有关更多评估和实现细节）
• 库： GPT-NeoX
• 许可证：Apache 2.0
• 联系方式：有关此模型的问题，请加入 EleutherAI Discord 并在#release-discussion中发布。在EleutherAI Discord中有关此问题的提问之前，请先阅读现有的Pythia文档。有关一般通信，请联系contact@eleuther.ai。

Pythia model	Non-Embedding Params	Layers	Model Dim	Heads	Batch Size	Learning Rate	Equivalent Models
70M	18,915,328	6	512	8	2M	1.0 x 10 -3	—
160M	85,056,000	12	768	12	2M	6.0 x 10 -4	GPT-Neo 125M, OPT-125M
410M	302,311,424	24	1024	16	2M	3.0 x 10 -4	OPT-350M
1.0B	805,736,448	16	2048	8	2M	3.0 x 10 -4	—
1.4B	1,208,602,624	24	2048	16	2M	2.0 x 10 -4	GPT-Neo 1.3B, OPT-1.3B
2.8B	2,517,652,480	32	2560	32	2M	1.6 x 10 -4	GPT-Neo 2.7B, OPT-2.7B
6.9B	6,444,163,072	32	4096	32	2M	1.2 x 10 -4	OPT-6.7B
12B	11,327,027,200	36	5120	40	2M	1.2 x 10 -4	—

有关Pythia套件的工程细节。对于给定大小的去重和非去重模型，具有相同的超参数。"Equivalent"模型具有完全相同的架构和相同数量的非嵌入参数。

用途和限制

预期用途

Pythia的主要预期用途是研究大型语言模型的行为、功能和限制。该套件旨在为进行科学实验提供一个受控环境。我们还提供每个模型的154个检查点：初始step0，10个对数间隔的检查点step{1,2,4...512}，以及从step1000到step143000之间均匀间隔的143个检查点。这些检查点作为分支托管在Hugging Face上。请注意，分支143000与每个模型的main分支上的模型检查点完全对应。

您还可以进一步微调和调整Pythia-12B以进行部署，只要您的使用符合Apache 2.0许可证。Pythia模型与Hugging Face库兼容。如果您决定以预训练的Pythia-12B为基础进行微调模型，请进行自己的风险和偏差评估。

超出范围的用途

Pythia套件不适用于部署。它本身不是一个产品，不能用于人机交互。例如，模型可能生成有害或冒犯性的文本。请评估与您特定用例相关的风险。

Pythia模型仅适用于英语，不适用于翻译或生成其他语言的文本。

Pythia-12B未针对常见的语言模型部署场景进行微调，例如编写流派散文或商业聊天机器人。这意味着Pythia-12B不会像ChatGPT等产品一样根据提供的提示进行响应。这是因为，与这个模型不同，ChatGPT使用了强化学习从人类反馈中学习的方法，以更好地“遵循”人类指令。

限制和偏见

大型语言模型的核心功能是接收一串文本并预测下一个标记。模型使用的标记不一定会产生最“准确”的文本。永远不要依赖Pythia-12B生成事实准确的输出。

该模型是使用包含亵渎、淫秽或其他冒犯性文本的数据集 the Pile 进行训练的。有关性别、宗教和种族方面的已知偏见，请参阅 Section 6 of the Pile paper 进行讨论。Pythia-12B可能会生成社会上不可接受或不希望出现的文本，即使提示本身不包含任何明确冒犯性的内容。

如果您计划使用通过托管推理API生成的文本，我们建议在向其他人展示之前由人类审核此语言模型的输出。请告知您的听众这些文本是由Pythia-12B生成的。

快速开始

可以使用以下代码加载和使用Pythia模型，这里演示了第三个pythia-70m-deduped检查点的示例：

from transformers import GPTNeoXForCausalLM, AutoTokenizer

model = GPTNeoXForCausalLM.from_pretrained(
  "EleutherAI/pythia-70m-deduped",
  revision="step3000",
  cache_dir="./pythia-70m-deduped/step3000",
)

tokenizer = AutoTokenizer.from_pretrained(
  "EleutherAI/pythia-70m-deduped",
  revision="step3000",
  cache_dir="./pythia-70m-deduped/step3000",
)

inputs = tokenizer("Hello, I am", return_tensors="pt")
tokens = model.generate(**inputs)
tokenizer.decode(tokens[0])

修订/分支step143000与每个模型的main分支上的模型检查点完全对应。有关如何使用所有Pythia模型的更多信息，请参阅 documentation on GitHub 。

训练

训练数据

The Pile 是一个825GiB的通用英文数据集。EleutherAI专门用于训练大型语言模型。它包含来自22个不同来源的文本，大致分为五个类别：学术写作（如arXiv），互联网（如CommonCrawl），散文（如Project Gutenberg），对话（如YouTube字幕）和其他（如GitHub、Enron邮件）。有关所有数据源、方法论和道德影响的详细说明，请参阅 the Pile paper 。有关Pile及其组成数据集的更详细文档，请参阅 the datasheet 。可以从 official website 或 community mirror 下载Pile。在使用Pile训练Pythia-12B之前，未进行去重处理。

训练过程

所有模型都是在完全相同的数据上、完全相同的顺序进行训练的。每个模型在训练过程中观察到299,892,736,000个标记，并且每2,097,152,000个标记保存143个检查点，这些检查点平均分布在step1000到step143000之间（与main相同）。此外，我们还提供了频繁的早期检查点：step0和step{1,2,4...512}。这相当于在非去重模型上对Pile进行不到1个时期的训练，以及对去重Pile进行约1.5个时期的训练。

所有Pythia模型以每个批次2M（2,097,152个标记）的均匀批次大小训练143,000个步骤。有关训练过程的更多细节，请参阅 GitHub ，包括 how to reproduce it 。Pythia使用与 GPT-NeoX- 20B 相同的分词器。

评估

使用 LM Evaluation Harness 进行了所有16个Pythia模型的评估。您可以通过模型和步骤在results/json/*中的 GitHub repository 中访问结果。展开下面的部分，以查看评估结果的绘图，其中包括Pythia和Pythia-deduped模型与OPT和BLOOM的比较。

LAMBADA – OpenAI Physical Interaction: Question Answering (PIQA) WinoGrande AI2 Reasoning Challenge—Easy Set SciQ

更改日志

本节比较了之前发布的 Pythia v0 和当前模型之间的差异。有关这些更改及其背后动机的详细讨论，请参阅Pythia论文的附录B。我们发现重新训练Pythia对基准性能没有影响。

• 现在，所有模型大小都使用统一的2M标记批次大小进行训练。之前，大小为160M、410M和1.4B参数的模型使用4M标记的批次大小进行训练。
• 我们添加了初始化（step 0）和步骤{1,2,4,8,16,32,64,128,256,512}之外的检查点，以及每1000个训练步骤。Flash Attention是重新训练套件中使用的。
• 我们解决了原始套件中存在的一个小不一致性：所有大小为2.8B参数或更小的模型学习率（LR）的衰减策略是将其衰减到最小LR的起始LR的10%，但6.9B和12B模型都使用了将其衰减到最小LR 0的LR策略。在重新进行的训练运行中，我们纠正了这个不一致性：所有模型现在都是使用衰减到最大LR的0.1倍的最小LR进行训练。

命名约定和参数计数

Pythia模型在2023年1月更名。旧的命名约定可能仍然在一些文档中存在。当前的命名约定（70M、160M等）基于总参数计数。

current Pythia suffix	old suffix	total params	non-embedding params
70M	19M	70,426,624	18,915,328
160M	125M	162,322,944	85,056,000
410M	350M	405,334,016	302,311,424
1B	800M	1,011,781,632	805,736,448
1.4B	1.3B	1,414,647,808	1,208,602,624
2.8B	2.7B	2,775,208,960	2,517,652,480
6.9B	6.7B	6,857,302,016	6,444,163,072
12B	13B	11,846,072,320	11,327,027,200