数据集卡片： "wmt17"

数据集概述

警告：Common Crawl语料库数据存在问题（ training-parallel-commoncrawl.tgz ）：

• 非英语文件包含许多英语句子。
• 它们的英文"并行"句子没有对齐:它们与其对应的句子无关联。

我们已联系WMT组织者。

基于statmt.org的数据的翻译数据集。

存在不同年份的版本，使用不同的数据源组合。基本的wmt可以通过选择自己的数据/语言对来创建自定义数据集。操作方式如下：

from datasets import inspect_dataset, load_dataset_builder

inspect_dataset("wmt17", "path/to/scripts")
builder = load_dataset_builder(
    "path/to/scripts/wmt_utils.py",
    language_pair=("fr", "de"),
    subsets={
        datasets.Split.TRAIN: ["commoncrawl_frde"],
        datasets.Split.VALIDATION: ["euelections_dev2019"],
    },
)

# Standard version
builder.download_and_prepare()
ds = builder.as_dataset()

# Streamable version
ds = builder.as_streaming_dataset()

支持的任务和排行榜

More Information Needed

语言

More Information Needed

数据集结构

数据实例

• 下载的数据集文件大小：1.78 GB
• 生成的数据集大小：302.09 MB
• 总计使用的磁盘空间：2.09 GB

'train'的示例如下所示。

数据字段

所有拆分中的数据字段相同。

• translation ：多语言字符串变量，可能的语言包括cs，en。

数据拆分

数据集创建

策划理由

More Information Needed

源数据

More Information Needed

More Information Needed

注释

More Information Needed

More Information Needed

个人和敏感信息

More Information Needed

数据使用注意事项

数据的社会影响

More Information Needed

偏见讨论

More Information Needed

其他已知限制

More Information Needed

附加信息

数据集策划者

More Information Needed

许可信息

More Information Needed

引用信息

@InProceedings{bojar-EtAl:2017:WMT1,
  author    = {Bojar, Ond
{r}ej  and  Chatterjee, Rajen  and  Federmann, Christian  and  Graham, Yvette  and  Haddow, Barry  and  Huang, Shujian  and  Huck, Matthias  and  Koehn, Philipp  and  Liu, Qun  and  Logacheva, Varvara  and  Monz, Christof  and  Negri, Matteo  and  Post, Matt  and  Rubino, Raphael  and  Specia, Lucia  and  Turchi, Marco},
  title     = {Findings of the 2017 Conference on Machine Translation (WMT17)},
  booktitle = {Proceedings of the Second Conference on Machine Translation, Volume 2: Shared Task Papers},
  month     = {September},
  year      = {2017},
  address   = {Copenhagen, Denmark},
  publisher = {Association for Computational Linguistics},
  pages     = {169--214},
  url       = {http://www.aclweb.org/anthology/W17-4717}
}

贡献者

感谢 @patrickvonplaten 、 @thomwolf 添加了此数据集。