WikiANN 数据集卡片

数据集概述

WikiANN（有时称为PAN-X）是一个多语言命名实体识别数据集，由用IOB2格式标注的维基百科文章组成，其中包含LOC（位置）、PER（人物）和ORG（组织）标签。此版本对应于Rahimi等人（2019）的平衡训练、开发和测试集，支持原始WikiANN语料库中的176种语言中的176种。

支持的任务和排行榜

• 命名实体识别：可以使用该数据集来训练多种语言的命名实体识别模型，或评估多语言模型的零-shot跨语言能力。

语言

数据集包含176种语言，每个配置子集中的一种语言。对应的BCP 47语言标签为：

数据集结构

数据实例

这是“训练”集中“af”（南非语）配置子集的示例：

{
  'tokens': ['Sy', 'ander', 'seun', ',', 'Swjatopolk', ',', 'was', 'die', 'resultaat', 'van', '’n', 'buite-egtelike', 'verhouding', '.'],
  'ner_tags': [0, 0, 0, 0, 1, 0, 0, 0, 0, 0, 0, 0, 0, 0],
  'langs': ['af', 'af', 'af', 'af', 'af', 'af', 'af', 'af', 'af', 'af', 'af', 'af', 'af', 'af'],
  'spans': ['PER: Swjatopolk']
}

数据字段

• tokens：字符串特征列表。
• langs：字符串特征列表，对应于每个令牌的语言。
• ner_tags：分类标签列表，可能的值包括O（0）、B-PER（1）、I-PER（2）、B-ORG（3）、I-ORG（4）、B-LOC（5）和I-LOC（6）。
• spans：字符串特征列表，是输入文本中命名实体的列表，格式为:

数据拆分

对于每个配置子集，数据被拆分为“训练”、“验证”和“测试”集，每个集合包含以下数量的示例：

数据集创建

策划理由

[需要更多信息]

源数据

[需要更多信息]

[需要更多信息]

注释

[需要更多信息]

[需要更多信息]

个人和敏感信息

[需要更多信息]

使用数据的注意事项

数据的社会影响

[需要更多信息]

偏见讨论

[需要更多信息]

其他已知限制

[需要更多信息]

其他信息

数据集策划者

[需要更多信息]

许可信息

[需要更多信息]

引用信息

与此文章相关的原始282个数据集为：

@inproceedings{pan-etal-2017-cross,
    title = "Cross-lingual Name Tagging and Linking for 282 Languages",
    author = "Pan, Xiaoman  and
      Zhang, Boliang  and
      May, Jonathan  and
      Nothman, Joel  and
      Knight, Kevin  and
      Ji, Heng",
    booktitle = "Proceedings of the 55th Annual Meeting of the Association for Computational Linguistics (Volume 1: Long Papers)",
    month = jul,
    year = "2017",
    address = "Vancouver, Canada",
    publisher = "Association for Computational Linguistics",
    url = "https://www.aclweb.org/anthology/P17-1178",
    doi = "10.18653/v1/P17-1178",
    pages = "1946--1958",
    abstract = "The ambitious goal of this work is to develop a cross-lingual name tagging and linking framework for 282 languages that exist in Wikipedia. Given a document in any of these languages, our framework is able to identify name mentions, assign a coarse-grained or fine-grained type to each mention, and link it to an English Knowledge Base (KB) if it is linkable. We achieve this goal by performing a series of new KB mining methods: generating {``}silver-standard{''} annotations by transferring annotations from English to other languages through cross-lingual links and KB properties, refining annotations through self-training and topic selection, deriving language-specific morphology features from anchor links, and mining word translation pairs from cross-lingual links. Both name tagging and linking results for 282 languages are promising on Wikipedia data and on-Wikipedia data.",
}

而此版本支持的176种语言与以下文章相关：

@inproceedings{rahimi-etal-2019-massively,
    title = "Massively Multilingual Transfer for {NER}",
    author = "Rahimi, Afshin  and
      Li, Yuan  and
      Cohn, Trevor",
    booktitle = "Proceedings of the 57th Annual Meeting of the Association for Computational Linguistics",
    month = jul,
    year = "2019",
    address = "Florence, Italy",
    publisher = "Association for Computational Linguistics",
    url = "https://www.aclweb.org/anthology/P19-1015",
    pages = "151--164",
}

贡献

感谢 @lewtun 和 @rabeehk 添加此数据集。