这是开放指令综合数据集

这是我们尝试创建的一个中等质量的大型指令数据集，以及一个更小的高质量指令数据集(OIG-small-chip2)。

数据以jsonl对象的形式呈现，至少包含一个'text'字段。某些数据集还可能包含一个'metadata'字段。'text'字段包含一个或多个以下形式的字符串：

• <human>：指令\n<bot>：回答
• <human>：指令\n<bot>：回答 .. <human>：指令\n<bot>：回答

较大的数据集的目的是进行持续的预训练，然后在较小的高质量数据集上进行微调。

较小的OIG-small-chip2数据集的目的是通过微调或软提示调整，将在大量文本上预训练的语言模型转换为一种指令跟随模型所需的计算量较小的附加模型。

各个社区成员正在准备许多其他数据集，我们将尽力验证数据的质量和格式，并将其纳入该数据集。我们的目标是为每个人提供有用且无害的指令调整模型。

OIG目前为44M。我们将继续发布规模更大的多样化指令数据集，目标是创建10兆标记的多样化指令 - 足够从头预训练一个LLM。

最好直接下载您希望使用的单个jsonl文件，而不是使用HF load_datasets。 https://huggingface.co/datasets/laion/OIG/tree/main

unified_abstract_infill.jsonl（~232000）

将dbpedia和wikipedia片段与一小部分 https://github.com/google-research/dialog-inpainting 结合

unified_basic.jsonl（30）

unified_conv_finqa.jsonl（~9000）

https://github.com/czyssrs/ConvFinQA

unified_cuad.jsonl（~500）

https://www.atticusprojectai.org/cuad

unified_essays.jsonl（~2000）

• 网上提供的文章

unified_grade_school_math_instructions.jsonl（~9000）

• https://github.com/openai/grade-school-math

unified_hc3_human.jsonl（~58000）

unified_image_prompts_instructions.jsonl（~15000）

• LAION-400M的一个非常小的子集

unified_joke_explanations.jsonl（356）

• 从公共互联网爬取。

unified_mathqa_flanv2_kojma_cot.jsonl（~107000）

• https://huggingface.co/datasets/math_qa ，

unified_merged_code_xp3.jsonl（~67000）

• https://huggingface.co/datasets/bigscience/xP3

unified_multi_news.jsonl（~90000）

• https://www.tensorflow.org/datasets/catalog/multi_news

unified_multi_sum.jsonl（~1700000）

unified_nq.jsonl（~307000）

unified_openai_summarize_tldr.jsonl（~233000）

• https://github.com/openai/summarize-from-feedback

unified_oscar_en_sample_dialog.jsonl（~2670000）

• https://oscar-project.org/
• https://huggingface.co/datasets/TurkuNLP/register_oscar

unified_plot_screenplay_books_dialog.jsonl（~8000）

• https://github.com/markriedl/WikiPlots 从维基百科提取，从Pile的 https://huggingface.co/datasets/the_pile_books3 中提取的片段，以及从公共互联网上获得的剧本片段。

unified_sqlv1.jsonl（~17000）

• 公共文本2 SQL数据集。

unified_sqlv2.jsonl（~24000）

• 公共文本2 SQL数据集。

unified_squad_v2.jsonl（~19000）

• https://rajpurkar.github.io/SQuAD-explorer/

unified_squad_v2_more_neg.jsonl（~19000）

• https://rajpurkar.github.io/SQuAD-explorer/

unified_ul2_plus_oscar_en_sample_dialog.jsonl（~2900000）

• https://oscar-project.org/
• https://huggingface.co/datasets/TurkuNLP/register_oscar

unified_unifiedskg_instructions.jsonl（~223000）

• https://github.com/HKUNLP/UnifiedSKG

unified_unnatural_instructions.jsonl（~238000）

• https://github.com/orhonovich/unnatural-instructions

unified_xp3_sample.jsonl（~188000）

• https://huggingface.co/datasets/bigscience/xP3

unified_canadian_parliament.jsonl（~301000）

• https://openparliament.ca/data-download/

unified_poetry_2_song.jsonl（~12000）

• https://huggingface.co/datasets/merve/poetry
• https://huggingface.co/datasets/matthh/gutenberg-poetry-corpus

unified_flan.jsonl（~2700000）

• https://github.com/google-research/FLAN/tree/main/flan/v2

unified_ni.jsonl（~256000）

• https://github.com/allenai/natural-instructions

unified_p3.jsonl（~31000000）

• https://huggingface.co/datasets/bigscience/P3

unified_soda_dialog.jsonl（~1200000）

• https://huggingface.co/datasets/allenai/soda

unified_rallio_soda_upgraded_2048.jsonl（~210000）

• https://huggingface.co/datasets/allenai/soda
• unified_soda_dailog.jsonl或unified_rallio_soda_upgraded_2048中的新版本，包含多个对话
• 建议仅使用unified_soda_dailog.jsonl或unified_rallio_soda_upgraded_2048中的一个，而不是两者。

unified_rallio_safety_and_prosocial.jsonl（~319000）

• 从公共数据集生成，并从维基百科生成与chip2数据类似的数据
• 在文档最后可以找到完整列表
• 此数据集还包括 https://huggingface.co/datasets/allenai/prosocial-dialog 和 https://huggingface.co/datasets/Anthropic/hh-rlhf

unified-chip2.jsonl / OIG-small-chip2（~210000）：

该数据集是由LAION OA项目的@rallio67和LAION贡献者团队的其他成员创建的。这是一个高质量的数据集，旨在混合到大型预训练数据集中，并可以用于最后的微调。Chip2包括：

Python代码示例（~6,000）：

一组指令/回答对，其中用户请求代理生成一个python函数。这些示例是使用大型语言模型和使用已验证执行的python代码进行的少样本提示生成的。还包括来自Conala出版物的约3000个手动策划的一行Python代码示例（参见： https://conala-corpus.github.io/ ）

自然指令示例（~124,000）：

一组平衡的多样化的自然和事实问题和答案，使用少样本提示的UL2 20B和经过指令调整的GPT-NeoX-20B模型（Chip）生成，并通过多个自动评估进行了拒绝抽样，以删除低质量的输出和过滤掉事实不准确的答案。还包括来自Anthropic Helpful instructions的一些经过筛选的自然指令（参见： https://github.com/anthropics/hh-rlhf ）。

无害通用指令示例（~6,500）：

一组指令/回复对，来源于Anthropic红团队的GitHub（参见： https://github.com/anthropics/hh-rlhf ）。该数据集包含许多关于真实人类尝试让Anthropic语言模型说出有害/有毒/恶作剧的内容。对于这个数据集，仅包括在有害等级上评级低的示例（0、1、2，其中4是最有毒的）。同样，仅保留对话的第一行（指令，第一次代理回答）。

包含列表的指令/回复（~14,000）：

一组经过过滤和重新格式化的指令/回复对，其中代理回复包含一个列表。来源于Anthropic GitHub（参见： https://github.com/anthropics/hh-rlhf ）。来源于b-mc2创建的wikihow文本列表（ https://huggingface.co/datasets/b-mc2/wikihow_lists ）。以及由包含列表的Chip20B生成的接受过滤的指令回复对。所有列表都采用类似的格式进行格式化。

后续问题（~12,500）：

包含请求更多信息的适当回应的指令和回答示例。这些示例是由少样本提示的UL2 20B（用于生成自然问题）和大型对话提示语言模型（用于生成包含后续问题的回答）的组合生成的。

维基百科有毒对抗性问题（~12,000）：

从讨论潜在敏感话题的维基百科文章生成的问题和答案（被早期毒性检测模型标记为潜在有毒）。

小学数学GSM8K（~9,000）：

GSM8K是一个由人类问题编写者创建的包含8.5K个高质量的语言多样化的小学数学题目的数据集。该数据集分为7.5K个训练问题和1K个测试问题。这些问题需要2到8步才能解决，解决方案主要涉及使用基本算术运算（+ - ×÷）执行一系列基本计算以达到最终答案。一个聪明的中学生应该能够解决每个问题。可用于多步数学推理。（ https://github.com/openai/grade-school-math ）

推理指导（~4,500）：

来自Com2Sense和Strategy QA数据集的示例，经过使用大型语言模型进行少样本提示和其他质量筛选步骤转换为自然指令。

角色和场景描述（~30,000）：

用于生成角色或场景描述的指令和回答示例。场景来自视频游戏维基，并使用大型语言模型进行重新格式化，或者通过使用大型语言模型进行少样本提示生成。

支持该项目

您的贡献和反馈支持开源生态系统，改进机器人并为未来的AI研究提供数据集。要参与其中，您可以：

提交Github问题，跟踪问题并帮助改进需要改进的数据集。 https://github.com/LAION-AI/Open-Instruction-Generalist 加入我们的Discord，与其他参与此项目的团队成员交谈！ https://discord.gg/xBPBXfcFHd

更新：2023年3月20日

• 在所有数据集中添加了metadata列，以减轻HF数据集加载器的问题。
• 将一些p3对话拆分成部分以便加载。

免责声明

这些数据集包含合成数据，有些数据还包括人们试图让语言模型说出有毒/冒犯/恶作剧的内容。如果您对数据集中存在这种类型的材料感到担忧，请确保仔细检查每个条目并进行适当的过滤。我们的目标是使模型尽可能有益和无毒，并且我们正在积极评估减少或消除指令调整数据集中不良内容的方法。

许可协议

LAION志愿者创建的OIG数据集遵循Apache 2.0许可协议发布。但是，数据还包括根据其他宽松许可证（例如根据CC-BY-SA许可的维基百科数据）许可的内容，或者根据公平使用原则使用的网络爬取的数据。

致谢

• 我们要感谢我们所有来自LAION的志愿者，包括：@Rallio、@Jue、@Ce Zhang、@Player-1、@Laurel、@danielpatrickhug、@Jjmachan、@Mylo、@Khalid、@Coco.han、@Jordiclive、@Pszemraj，最初创建了合成数据的Open Assistant项目的所有志愿者，以及许多其他人。
• 我们要感谢Together对开源和AI社区的不懈贡献，并对许多数据集的贡献表示感谢。
• 我们要感谢AI Horde和用户@Db0对被标记为不道德的过滤数据的令人难以置信的贡献。
• 请查看我们的相关项目： https://github.com/LAION-AI/Open-Assistant ，了解我们在人类反馈收集和RLHF方面的工作。
• 最后，Ontocord.ai的创始人对有机会为该项目创建数据增强和安全调节代码表示感激。