GPT-Neo 2.7B - Janeway

模型描述

GPT-Neo 2.7B-Janeway 是使用EleutherAI的GPT-Neo 2.7B模型进行fine-tune创建的。

训练数据

训练数据包含大约2210本电子书，主要涵盖科幻和奇幻类型。该数据集基于GPT-Neo-2.7B-Picard使用的相同数据集，其中增加了20%的来自不同流派的数据。数据集的某些部分在前面加入了以下文本：[流派：，]。

如何使用

您可以直接使用该模型来进行文本生成。下面的示例每次运行时都会生成不同的序列：

>>> from transformers import pipeline
>>> generator = pipeline('text-generation', model='KoboldAI/GPT-Neo-2.7B-Janeway')
>>> generator("Welcome Captain Janeway, I apologize for the delay.", do_sample=True, min_length=50)
[{'generated_text': 'Welcome Captain Janeway, I apologize for the delay."\nIt's all right," Janeway said. "I'm certain that you're doing your best to keep me informed of what\'s going on."'}]

限制和偏见

GPT-Neo是一个自回归语言模型。这意味着它的核心功能是接收一串文本并预测下一个标记。尽管语言模型在其他任务中被广泛使用，但其中仍存在许多未知因素。GPT-Neo是在Pile数据集上进行训练的，该数据集已知含有亵渎、淫秽和冒犯性语言。根据您的用例，GPT-Neo可能会产生社会不可接受的文本。请参阅Pile论文的第5和第6节，以更详细地分析Pile中的偏见。与所有语言模型一样，很难预测GPT-Neo对特定提示的反应，可能会出现冒犯性内容而没有警告。我们建议在发布之前，将有人对生成的内容进行筛选或过滤，以便审查不希望出现的内容并提高结果的质量。

BibTeX条目和引用信息

该模型是使用以下软件创建的：

@software{gpt-neo,
  author       = {Black, Sid and
                  Leo, Gao and
                  Wang, Phil and
                  Leahy, Connor and
                  Biderman, Stella},
  title        = {{GPT-Neo: Large Scale Autoregressive Language 
                   Modeling with Mesh-Tensorflow}},
  month        = mar,
  year         = 2021,
  note         = {{If you use this software, please cite it using 
                   these metadata.}},
  publisher    = {Zenodo},
  version      = {1.0},
  doi          = {10.5281/zenodo.5297715},
  url          = {https://doi.org/10.5281/zenodo.5297715}
}