数据集卡创建指南

数据集概要

我们从网络上的 Stack Exchange 个网络中自动提取了问题和答案（Q&A）对。Stack Exchange聚集了50个在线平台的许多Q&A社区，包括著名的Stack Overflow和其他技术网站。每月有1亿开发者使用Stack Exchange。该数据集是一个平行语料库，每个问题都映射到评级最高的答案。数据集根据各个社区划分，这些社区涵盖了从3D打印、经济学、树莓派到emacs的各种领域。完整的社区列表可在 here 处获取。

语言

Stack Exchange主要由英文（en）组成。

数据集结构

数据实例

每个数据样本的表示如下：

{'title_body': 'How to determine if 3 points on a 3-D graph are collinear? Let the points $A, B$ and $C$ be $(x_1, y_1, z_1), (x_2, y_2, z_2)$ and $(x_3, y_3, z_3)$ respectively. How do I prove that the 3 points are collinear? What is the formula?',
 'upvoted_answer': 'From $A(x_1,y_1,z_1),B(x_2,y_2,z_2),C(x_3,y_3,z_3)$ we can get their position vectors.\n\n$\\vec{AB}=(x_2-x_1,y_2-y_1,z_2-z_1)$ and $\\vec{AC}=(x_3-x_1,y_3-y_1,z_3-z_1)$.\n\nThen $||\\vec{AB}\\times\\vec{AC}||=0\\implies A,B,C$ collinear.',

这个特定的示例对应于 following page

数据字段

数据集中的字段包含以下信息：

• title_body: 这是问题的标题和正文的连接
• upvoted_answer: 这是评分最高的答案的正文

数据拆分

我们为此数据集提供了多种拆分，每种拆分都指向一个特定的社区频道。我们在下面详细介绍了每个拆分的数量：

数据集创建

策划理由

我们主要为句子嵌入训练而设计了此数据集。实际上，句子嵌入可以使用对比学习设置进行训练，其中模型被训练以将每个句子与其对应的多个选项中的句子进行关联。这样的模型需要许多示例才能有效，因此数据集的创建可能是繁琐的。像Stack Exchange这样的社区网络使我们能够半自动地构建许多示例。

来源数据

源数据来自 Stack Exchange 的转储数据。

我们从数学社区收集了数据。

我们过滤掉标题或正文长度低于20个字符以及正文长度超过4096个字符的问题。在提取最受欢迎的答案时，我们过滤掉那些最受欢迎的答案和踩票数之间至少有100票差距的配对。

问题和答案是由Stack Exchange的社区开发者编写的。

附加信息

许可信息

请参阅许可信息： https://archive.org/details/stackexchange

引用信息

@misc{StackExchangeDataset,
  author = {Flax Sentence Embeddings Team},
  title = {Stack Exchange question pairs},
  year = {2021},
  howpublished = {https://huggingface.co/datasets/flax-sentence-embeddings/},
}

贡献

感谢Flax Sentence Embeddings团队添加了这个数据集。