Variance-Aware MT测试集的数据集卡片

数据集概述

此数据集包括70个用于机器翻译（MT）评估的小型、具有区分性的测试集，称为方差感知测试集（Variance-Aware Test Sets，简称VAT），涵盖了从WMT16到WMT20比赛的35个翻译方向。VAT是通过一种新颖的方差感知过滤方法自动创建的，该方法可以过滤掉当前MT基准中的非区分性测试实例，而无需人工劳动。实验结果表明，在主流语言对和测试集上，VAT在与人类判断相关性方面优于原始的WMT基准。对VAT性质的进一步分析揭示了对于竞争性MT系统而言具有挑战性的语言特征（例如低频词的翻译和专有名词），为构建未来的MT测试集提供了指导。

免责声明：* VAT测试集通过Github由澳门大学的 Natural Language Processing & Portuguese-Chinese Machine Translation Laboratory (NLP2CT Lab) 托管。它们由 Runzhe Zhan ， Xuebo Liu ， Derek F. Wong ， Lidia S. Chao 的论文 Variance-Aware Machine Translation Test Sets 介绍，并遵循WMT测试集的原始许可证。

支持的任务和排行榜

有关在VAT上进行模型评估的详细信息，请参阅 original paper 。

语言

下表取自原始论文，列出了VAT测试集支持的语言，共70种语言对：

要使用任何一个测试集，请将"wmtXX_src_tgt"作为配置名称传递给load_dataset命令。例如，要加载来自wmt16的英俄测试集，请使用load_dataset('gsarti/wmt_vat'，'wmt16_en_ru')。

数据集结构

数据实例

提供了WMT16英俄语言（wmt16_en_ru配置）的测试拆分（唯一可用拆分）的示例。所有配置具有相同的结构。

{
    'orig_id': 0,
    'source': 'The social card of residents of Ivanovo region is to be recognised as an electronic payment instrument.',
    'reference': 'Социальная карта жителя Ивановской области признается электронным средством платежа.'
}

文本按原始数据集的方式提供，没有进一步的预处理或分词。

数据字段

• orig_id：与原始数据集中行id相对应的ID。
• source：源语句。
• reference：目标语言中的参考句子。

数据拆分

取自原始存储库：

数据集创建

该数据集通过保留各种WMT测试集的前40％实例的子集来创建，其中自动评分（BLEU，BLEURT，COMET，BERTScore）之间的方差最大。有关数据集创建的其他信息，请参阅原始文章 Variance-Aware Machine Translation Test Sets 。

其他信息

数据集维护者

VAT的原始作者是原始数据集的维护者。如需有关此?数据集版本的问题或更新，请联系gabriele.sarti996@gmail.com。

Licensing Information

方差感知测试集是基于原始的WMT测试集创建的。因此，WMT组织者已经明确说明的 original data licensing plan 仍然适用：

用于WMT新闻翻译任务的数据可以在研究目的上自由使用，我们只要求您引用WMT共享任务概述论文，并遵守各个数据集上的任何其他引用要求。对于数据的其他使用，您应该与数据集的原始所有者咨询。

引用信息

如果您在工作中使用这些语料库，请引用作者。同时建议引用用于特定测试集的原始WMT共享任务论文。

@inproceedings{
    zhan2021varianceaware,
    title={Variance-Aware Machine Translation Test Sets},
    author={Runzhe Zhan and Xuebo Liu and Derek F. Wong and Lidia S. Chao},
    booktitle={Thirty-fifth Conference on Neural Information Processing Systems, Datasets and Benchmarks Track},
    year={2021},
    url={https://openreview.net/forum?id=hhKA5k0oVy5}
}