T5-3B 模型卡片

目录

模型详情

模型描述

T5-3B 是拥有 30 亿参数的检查点，是 Text-To-Text Transfer Transformer（T5）模型的一部分。T5 的开发人员进行了如下描述：

通过 T5，我们提出将所有 NLP 任务重新构建为统一的文本到文本格式，其中输入和输出始终是文本字符串，而不是只能输出类别标签或输入文本的片段的 BERT 风格模型。我们的文本到文本框架使我们能够在任何 NLP 任务上使用相同的模型、损失函数和超参数。

有关该模型的详细信息，请参阅 Colin Raffel, Noam Shazeer, Adam Roberts, Katherine Lee, Sharan Narang, Michael Matena, Yanqi Zhou, Wei Li 和 Peter J. Liu 的相关论文（ associated paper 和 GitHub repo ）。

• 开发人员：Colin Raffel, Noam Shazeer, Adam Roberts, Katherine Lee, Sharan Narang, Michael Matena, Yanqi Zhou, Wei Li, Peter J. Liu。详情请参阅 associated paper 和 GitHub repo 。
• 模型类型：语言模型
• 语言：英语、法语、罗马尼亚语、德语
• 许可证：Apache 2.0
• 相关模型： All T5 Checkpoints
• 获取更多信息的资源：
  • Research paper
  • Google's T5 Blog Post
  • GitHub Repo
  • Hugging Face T5 Docs

使用场景

直接应用和下游应用

开发人员在一份 blog post 中写道：

我们的文本到文本框架使我们能够在任何 NLP 任务上使用相同的模型、损失函数和超参数，包括机器翻译、文档摘要、问答和分类任务（如情感分析）。我们甚至可以将 T5 应用于回归任务，通过训练它预测数字的字符串表示而不是数字本身。

有关更多详细信息，请参阅 blog post 和 research paper 。

不适用的场景

需要更多信息。

偏见、风险和限制

需要更多信息。

建议

需要更多信息。

训练详情

训练数据

该模型在与 T5 相同的 research paper 中开发和发布的背景下，进行了预训练。

该模型在无监督任务（1.）和监督任务（2.）的多任务混合中进行了预训练。具体使用的数据集如下：

• C4
• Wiki-DPR

• 句子可接受性判断
  • CoLA Warstadt et al., 2018
• 情感分析
  • SST-2 Socher et al., 2013
• 释义/句子相似性
  • MRPC Dolan and Brockett, 2005
  • STS-B Ceret al., 2017
  • QQP Iyer et al., 2017
• 自然语言推理
  • MNLI Williams et al., 2017
  • QNLI Rajpurkar et al.,2016
  • RTE Dagan et al., 2005
  • CB De Marneff et al., 2019
• 句子完成
  • COPA Roemmele et al., 2011
• 词义消歧
  • WIC Pilehvar and Camacho-Collados, 2018
• 问答
  • MultiRC Khashabi et al., 2018
  • ReCoRD Zhang et al., 2018
  • BoolQ Clark et al., 2019

训练过程

开发人员在他们的 abstract 中写道：

本文探索了将每个语言问题转化为文本到文本格式的转移学习技术。我们的系统性研究比较了几十个语言理解任务中的预训练目标、架构、无标签数据集、转移方法和其他因素。

引入的 T5 框架将论文中研究的方法融合到一个训练过程中。有关详细信息，请参阅该论文（ research paper ）。

评估

测试数据、因素和指标

开发人员对该模型进行了 24 个任务的评估，请参阅文献 research paper 了解详细信息。

结果

T5-3B 的完整结果，请参阅文献 research paper 的表格 14。

环境影响

可以使用文献 Lacoste et al. (2019) 中提出的方法来估算碳排放。

• 硬件类型：Google Cloud TPU Pods
• 使用时长：需要更多信息
• 云提供商：GCP
• 计算地区：需要更多信息
• 排放的碳量：需要更多信息

引用

BibTeX 引用：

@article{2020t5,
  author  = {Colin Raffel and Noam Shazeer and Adam Roberts and Katherine Lee and Sharan Narang and Michael Matena and Yanqi Zhou and Wei Li and Peter J. Liu},
  title   = {Exploring the Limits of Transfer Learning with a Unified Text-to-Text Transformer},
  journal = {Journal of Machine Learning Research},
  year    = {2020},
  volume  = {21},
  number  = {140},
  pages   = {1-67},
  url     = {http://jmlr.org/papers/v21/20-074.html}
}

APA 引用：

• Raffel, C., Shazeer, N., Roberts, A., Lee, K., Narang, S., Matena, M., ... & Liu, P. J. (2020). Exploring the limits of transfer learning with a unified text-to-text transformer. J. Mach. Learn. Res., 21(140), 1-67.

模型卡片作者

本模型卡片由 Hugging Face 团队编写。

如何开始使用该模型

请参阅 Hugging Face T5 文档和模型开发人员创建的 Colab Notebook ，以获取有关如何开始使用此检查点的更多上下文信息。