GPT-Neo 2.7B - Picard

模型描述

GPT-Neo 2.7B-Picard 是使用 EleutherAI 的 GPT-Neo 2.7B 模型进行 fine-tune 得到的。

训练数据

训练数据包含大约1800本电子书，主要涵盖科幻和奇幻题材。

如何使用

您可以直接使用这个模型进行文本生成。下面的示例每次运行都会生成一个不同的序列：

>>> from transformers import pipeline
>>> generator = pipeline('text-generation', model='mrseeker87/GPT-Neo-2.7B-Picard')
>>> generator("Jean-Luc Picard", do_sample=True, min_length=50)
[{'generated_text': 'Jean-Luc Picard, the captain of a Federation starship in command of one of Starfleet's few fulltime scientists.'}]

限制和偏见

GPT-Neo 是一个自回归语言模型。这意味着它的核心功能是接受一个字符串文本并预测下一个标记。虽然语言模型被广泛用于除此之外的任务，但这项工作还存在许多未知因素。GPT-Neo 是在名为 Pile 的数据集上进行训练的，该数据集已知包含亵渎、淫秽和其他令人不快的语言。根据您的用途，GPT-Neo 可能会生成社会上不可接受的文本。请参阅 Pile 论文的第 5 和第 6 节，以获得有关 Pile 偏见的更详细分析。与所有语言模型一样，很难事先预测 GPT-Neo 对特定提示的响应，可能会出现意外的冒犯内容。我们建议在发布之前，由人类对输出进行审查或过滤，既可阻止不良内容，又可提高结果的质量。

BibTeX 条目和引用信息

该模型采用以下软件制作：

@software{gpt-neo,
  author       = {Black, Sid and
                  Leo, Gao and
                  Wang, Phil and
                  Leahy, Connor and
                  Biderman, Stella},
  title        = {{GPT-Neo: Large Scale Autoregressive Language 
                   Modeling with Mesh-Tensorflow}},
  month        = mar,
  year         = 2021,
  note         = {{If you use this software, please cite it using 
                   these metadata.}},
  publisher    = {Zenodo},
  version      = {1.0},
  doi          = {10.5281/zenodo.5297715},
  url          = {https://doi.org/10.5281/zenodo.5297715}
}