数据集:

strombergnlp/rumoureval_2019

语言:

en

许可:

cc-by-4.0

计算机处理:

monolingual

语言创建人:

found

批注创建人:

crowdsourced

预印本库:

arxiv:1809.06683

大小:

10K<n<100K

子任务:

fact-checking
英文

数据集卡片 - "rumoureval_2019"

数据集简介

使用英语进行立场预测任务。目标是预测给定回复对于某个索赔/主题是支持、否定、质疑还是仅仅评论。在2019年作为SemEval任务进行。

支持的任务和排行榜

  • SemEval 2019任务1

语言

英语(不同来源),bcp47:en

数据集结构

数据实例

"train" 的示例如下所示。

{
    'id': '0', 
    'source_text': 'Appalled by the attack on Charlie Hebdo in Paris, 10 - probably journalists - now confirmed dead. An attack on free speech everywhere.', 
    'reply_text': '@m33ryg @tnewtondunn @mehdirhasan Of course it is free speech, that\'s the definition of "free speech" to openly make comments or draw a pic!', 
    'label': 3
}

数据字段

  • id:字符串特征。
  • source_text:表示索赔/主题的字符串。
  • reply_text:需要对其立场进行分类的字符串。
  • label:表示文本表达对目标的立场的类别标签。具有完整索引的标签集:
                            0: "support",
                            1: "deny",
                            2: "query",
                            3: "comment"
  • quoteID:内部引用ID的字符串。
  • party:描述引用发言者在发言时的党派隶属的字符串。
  • politician:命名发表引用的政治家的字符串。

数据集划分

name instances
train 7 005
dev 2 425
test 2 945

数据集创建

策划理由

源数据

初始数据收集和规范化谁是源语言的生产者?

Twitter用户

注解

注释过程

详细说明在 Analysing How People Orient to and Spread Rumours in Social Media by Looking at Conversational Threads 中

谁是注释者?

个人隐私信息

使用数据时的注意事项

数据集的社会影响

偏见讨论

其他已知限制

其他信息

数据集策划者

数据集由文中的作者策划。

许可信息

作者以Creative Commons署名许可(CC-BY 4.0)分发此数据。

引用信息

@inproceedings{gorrell-etal-2019-semeval,
    title = "{S}em{E}val-2019 Task 7: {R}umour{E}val, Determining Rumour Veracity and Support for Rumours",
    author = "Gorrell, Genevieve  and
      Kochkina, Elena  and
      Liakata, Maria  and
      Aker, Ahmet  and
      Zubiaga, Arkaitz  and
      Bontcheva, Kalina  and
      Derczynski, Leon",
    booktitle = "Proceedings of the 13th International Workshop on Semantic Evaluation",
    month = jun,
    year = "2019",
    address = "Minneapolis, Minnesota, USA",
    publisher = "Association for Computational Linguistics",
    url = "https://aclanthology.org/S19-2147",
    doi = "10.18653/v1/S19-2147",
    pages = "845--854",
}

贡献

作者添加的数据集 @leondz