GEM/ART的数据集卡片

主数据卡片链接

您可以在 GEM Website 找到主数据卡片。

数据集摘要

推理是推断出最合理解释的过程。例如，如果珍妮回到家发现房子一团糟，而且她记得她出门时留了个窗户开着，她可以假设是有小偷闯入她的房子并造成了这一混乱局面，因为这是最合理的解释。这个数据加载器专注于NLG的因果推理：在自然语言中解释给定的观察。

您可以通过以下方式加载数据集：

import datasets
data = datasets.load_dataset('GEM/ART')

数据加载器可以在 here 找到。

网址

Website

论文

OpenReview

作者

Chandra Bhagavatula (AI2), Ronan Le Bras (AI2), Chaitanya Malaviya (AI2), Keisuke Sakaguchi (AI2), Ari Holtzman (AI2, UW), Hannah Rashkin (AI2, UW), Doug Downey (AI2), Wen-tau Yih (AI2), Yejin Choi (AI2, UW)

数据集概述

数据和文档的获取方式

网站

Website

下载

Google Storage

论文

OpenReview

BibTex

@inproceedings{
Bhagavatula2020Abductive,
title={Abductive Commonsense Reasoning},
author={Chandra Bhagavatula and Ronan Le Bras and Chaitanya Malaviya and Keisuke Sakaguchi and Ari Holtzman and Hannah Rashkin and Doug Downey and Wen-tau Yih and Yejin Choi},
booktitle={International Conference on Learning Representations},
year={2020},
url={https://openreview.net/forum?id=Byg1v1HKDB}
}

联系人姓名

Chandra Bhagavatulla

联系人邮箱

chandrab@allenai.org

有排行榜吗？

否

语言和使用对象

多语言？

否

支持的语言

英文

使用语言源头

Crowdworkers 在美国、加拿大、英国和澳大利亚的亚马逊 Mechanical Turk 平台上。

许可证

apache-2.0: Apache 许可证2.0

预期的使用目的

研究基于语言的诱因推理的可行性。训练和评估模型，以生成一个合理的假设来解释给定的两个观察。

主要任务

推理

贡献者

策展组织类型

工业

策展组织

Allen AI 研究所

数据集创建者

Chandra Bhagavatula (AI2), Ronan Le Bras (AI2), Chaitanya Malaviya (AI2), Keisuke Sakaguchi (AI2), Ari Holtzman (AI2, UW), Hannah Rashkin (AI2, UW), Doug Downey (AI2), Wen-tau Yih (AI2), Yejin Choi (AI2, UW)

资金支持

Allen AI 研究所

谁将数据集添加到 GEM？

Chandra Bhagavatula (AI2), Ronan LeBras (AI2), Aman Madaan (CMU), Nico Daheim (RWTH Aachen University)

数据集结构

数据字段

• observation_1: 描述观察/事件的字符串。
• observation_2: 描述观察/事件的字符串。
• label: 一个字符串，可以合理地解释为什么可能发生 observation_1 和 observation_2。

选择标签的方式

解释是由Crowdworkers使用数据集的创建者设计的自定义模板进行创作。

示例实例

{
'gem_id': 'GEM-ART-validation-0',
'observation_1': 'Stephen was at a party.',
'observation_2': 'He checked it but it was completely broken.',
'label': 'Stephen knocked over a vase while drunk.'
}

数据拆分

• train: 包含训练实例。
• dev: 包含开发实例。
• test: 包含测试实例。

在GEM中的数据集

加入GEM的原因

数据集在GEM中的原因是什么?

推理是人类的重要能力，而ART是第一个用于研究基于语言的诱因推理的数据集。

类似的数据集

否

该数据集衡量的能力

模型能否对给定的一对观察进行诱因推理。

GEM特定的策划

是否为GEM修改过？

否

是否有额外的划分？

否

入门任务

资源指南

• Paper
• Code

先前的结果

先前的结果

评估模型能力

模型能否对给定的一对观察进行诱因推理。

指标

BLEU，BERT-Score，ROUGE

是否有先前的结果？

否

数据集策划

原始策划

是否从不同来源收集？

否

语言数据

语言数据是如何获得的？

众包

众包地点

亚马逊 Mechanical Turk

语言生产者

语言生产者为美国、加拿大、英国和澳大利亚的英语使用者。

涵盖的主题

否

数据验证

由众包工作者进行验证

是否对数据进行了过滤？

算法过滤

过滤条件

在 paper 中描述的对抗性过滤算法

结构化注释

是否有其他注释？

自动创建的

注释服务？

否

注释值

每个观察与一系列 COMET ( https://arxiv.org/abs/1906.05317 ) 推理相关联

是否有质量控制？

无

同意

是否有同意政策？

否

私人身份信息 (PII)

是否包含PII？

没有PII

不包含PII的理由

数据集包含日常事件，不包含姓名、电子邮件、地址等信息。

维护

是否有维护计划？

否

更广泛的社会背景

有关数据集社会影响的先前研究

基于数据的模型的用途

否

对弱势社区的影响

是否满足弱势社区的需求？

否

对偏见的讨论

是否有记录的社会偏见？

否

使用数据时的注意事项

PII风险和责任

潜在的PII风险

无

许可证

数据集的版权限制

公有领域

语言数据的版权限制

公有领域

已知的技术限制