mC4 数据集卡片

数据集概要

这是 Common Crawl 网络爬取语料库的多语言版本。基于 Common Crawl 数据集：“ https://commoncrawl.org" ”。

这是由 AllenAI 准备的版本，托管在以下地址： https://huggingface.co/datasets/allenai/c4

共支持 108 种语言，下表中列出了这些语言。

注意，以“-Latn”结尾的语言只是使用拉丁字母表写的变体。

您可以如下加载任何语言的 mC4 子集：

from datasets import load_dataset

en_mc4 = load_dataset("mc4", "en")

甚至可以指定语言列表：

from datasets import load_dataset

mc4_subset_with_five_languages = load_dataset("mc4", languages=["en", "fr", "es", "de", "zh"])

支持的任务和榜单

mC4 主要用于预训练语言模型和词表示。

语言

该数据集支持 108 种语言。

数据集结构

数据实例

英语配置示例如下：

{'timestamp': '2018-06-24T01:32:39Z',
 'text': 'Farm Resources in Plumas County\nShow Beginning Farmer Organizations & Professionals (304)\nThere are 304 resources serving Plumas County in the following categories:\nMap of Beginning Farmer Organizations & Professionals serving Plumas County\nVictoria Fisher - Office Manager - Loyalton, CA\nAmy Lynn Rasband - UCCE Plumas-Sierra Administrative Assistant II - Quincy , CA\nShow Farm Income Opportunities Organizations & Professionals (353)\nThere are 353 resources serving Plumas County in the following categories:\nFarm Ranch And Forest Retailers (18)\nMap of Farm Income Opportunities Organizations & Professionals serving Plumas County\nWarner Valley Wildlife Area - Plumas County\nShow Farm Resources Organizations & Professionals (297)\nThere are 297 resources serving Plumas County in the following categories:\nMap of Farm Resources Organizations & Professionals serving Plumas County\nThere are 57 resources serving Plumas County in the following categories:\nMap of Organic Certification Organizations & Professionals serving Plumas County',
 'url': 'http://www.californialandcan.org/Plumas/Farm-Resources/'}

数据字段

数据具有多个字段：

• url：来源的 URL，类型为字符串
• text：文本内容，类型为字符串
• timestamp：时间戳，类型为字符串

数据拆分

为构建 mC4，作者使用 CLD3 来识别 100 多种语言。每种语言的 mC4 子集在下表中列出：

数据集创建

策划理由

[需要更多信息]

源数据

[需要更多信息]

[需要更多信息]

注释

[需要更多信息]

[需要更多信息]

个人和敏感信息

[需要更多信息]

使用数据的考虑事项

数据的社会影响

[需要更多信息]

偏见讨论

[需要更多信息]

其他已知限制

[需要更多信息]

附加信息

数据集策划者

[需要更多信息]

许可信息

AllenAI 使用 ODC-BY 条款发布此数据集。使用该数据集，您还必须遵守 Common Crawl 使用条款中有关数据集内容的规定。

引用信息

@article{2019t5,
    author = {Colin Raffel and Noam Shazeer and Adam Roberts and Katherine Lee and Sharan Narang and Michael Matena and Yanqi Zhou and Wei Li and Peter J. Liu},
    title = {Exploring the Limits of Transfer Learning with a Unified Text-to-Text Transformer},
    journal = {arXiv e-prints},
    year = {2019},
    archivePrefix = {arXiv},
    eprint = {1910.10683},
}

贡献者

感谢 @dirkgr 和 @lhoestq 添加了此数据集。