ROPES 数据集卡片

数据集摘要

ROPES (在情境中进行段落影响推理) 是一个 QA 数据集，用于测试系统从一段文本中应用知识到一个新的情境的能力。系统将呈现一个包含因果关系或定性关系（例如：“动物传粉增加了花的受精效率”）的背景段落，一个使用此背景的新情境以及需要在情境中推理关系效果的问题。

支持的任务和排行榜

阅读理解任务被视为一个从篇章中提取问题回答的问题。

模型通过计算词级别的 F1 和完全匹配（EM）度量对其进行评估，这是近期阅读理解数据集（例如 SQuAD）的共同做法。

语言

数据集中的文本为英文。相关的 BCP-47 代码是 en 。

数据集结构

数据实例

数据紧密遵循 SQuAD v1.1 的格式。一个示例如下所示：

{
  "id": "2058517998",
  "background": "Cancer is a disease that causes cells to divide out of control. Normally, the body has systems that prevent cells from dividing out of control. But in the case of cancer, these systems fail. Cancer is usually caused by mutations. Mutations are random errors in genes. Mutations that lead to cancer usually happen to genes that control the cell cycle. Because of the mutations, abnormal cells divide uncontrollably. This often leads to the development of a tumor. A tumor is a mass of abnormal tissue. As a tumor grows, it may harm normal tissues around it. Anything that can cause cancer is called a carcinogen . Carcinogens may be pathogens, chemicals, or radiation.",
  "situation": "Jason recently learned that he has cancer. After hearing this news, he convinced his wife, Charlotte, to get checked out. After running several tests, the doctors determined Charlotte has no cancer, but she does have high blood pressure. Relieved at this news, Jason was now focused on battling his cancer and fighting as hard as he could to survive.",
  "question": "Whose cells are dividing more rapidly?",
  "answers": {
    "text": ["Jason"]
  },
}

数据字段

• id：标识符
• background：背景段落
• situation：基础情境
• question：问题
• answers：回答文本，其中是情境或问题的一部分。文本列表始终包含一个元素。

需要注意的是，测试集的答案是隐藏的（因此表示为空列表）。测试集的预测应该提交到排行榜上。

数据拆分

该数据集包含来自1.7K个段落的14k个 QA 对，分为训练集（10k 个 QA 对）、验证集（1.6k 个 QA 对）和隐藏测试集（1.7k 个 QA 对）。

数据集创建

策划原理

根据原始论文所述：

ROPES 挑战阅读理解模型处理更困难的现象：理解一段文本的含义。ROPES 尤其与专注于 "多跳推理"的数据集相关，因为根据构造，在 ROPES 中回答问题需要连接给定段落中的多个部分的信息。

我们通过首先从科学教材和 Wikipedia 文章中收集描述因果关系的背景段落开始构建 ROPES。我们向众包工作者展示收集到的段落，并要求他们编写涉及背景段落中发现的关系的情境，并编写使用因果关系连接情境和背景的问题。答案是情境或问题的一部分。该数据集包含来自不同领域的14,322个问题，主要涉及科学和经济学。

源数据

根据原始论文所述：

我们自动从科学教科书和维基百科中抓取包含因果连词（例如“causes”、“leads to”）和标志定性关系的关键词（例如“increases”、“decreases”）的段落。然后我们手动筛选掉没有至少一个关系的段落。这些段落可以分为物理科学（49%）、生命科学（45%）、经济学（5%）和其他领域（1%）。总共，我们收集了1000多个背景段落。

根据原始论文所述：

我们使用亚马逊 Mechanical Turk (AMT) 生成情境、问题和答案。AMT 工人被提供背景段落，并被要求编写涉及背景段落中关系的情境。然后，AMT 工人编写关于情境的问题，需要同时回答背景和情境。在每个人工智能任务（HIT）中，AMT 工人提供5个背景段落供选择，并被要求创建共计10个问题。为了减少数据集中易于使用词法捷径的可能性，通过指示，鼓励工人使用最小对改变很小的问题进行编写，并产生不同的答案。

大多数问题被设计为有两个明智的答案选择（例如“more” vs. “less”）。

为了减少注释人员的偏见，训练和评估集由不同的注释人员编写。

[需要更多信息]

注释

[需要更多信息]

[需要更多信息]

[需要更多信息]

个人和敏感信息

[需要更多信息]

使用数据的注意事项

数据的社会影响

[需要更多信息]

偏见讨论

[需要更多信息]

其他已知限制

[需要更多信息]

其他信息

数据集策划者

[需要更多信息]

许可信息

该数据集在 CC BY 4.0 许可下分发。

引用信息

@inproceedings{Lin2019ReasoningOP,
  title={Reasoning Over Paragraph Effects in Situations},
  author={Kevin Lin and Oyvind Tafjord and Peter Clark and Matt Gardner},
  booktitle={MRQA@EMNLP},
  year={2019}
}

贡献者

感谢 @VictorSanh 添加此数据集。