您尚未登录账户请先登录您的atyun账户，方可使用该功能
您的企业账号申请正在审核中审核通过后即可使用此功能，请耐心等待~
谷歌发布大型数据集训练问答系统，并推出相关挑战
2019年01月24日 由 浅浅 发表
210604
0
开放域问答（QA）是自然语言理解（NLU）中的一项基准任务，旨在模仿人们如何查找信息，通过阅读理解找到问题的答案。给定用自然语言表达的问题“为什么天空是蓝色的”，QA系统应该能够阅读网页（例如维基百科页面）并找到正确的答案，即使答案复杂冗长。然而，目前没有大量公开可用的自然来源问题（即寻求信息的人提出的问题），以及可用于训练和评估QA模型的答案。这是因为汇集用于问答的高质量数据集需要大量的实际问题来源，以及寻找正确答案的人力。
Natural Questions
在论文“Natural Questions: a Benchmark for Question Answering Research”中，谷歌发布了Natural Questions（NQ），一个用于训练和评估开放域问答系统的新的大型语料库。Google AI语言研究科学家Tom Kwiatkowski和Michael Collins称，它是第一个在人们找到问题答案时复制端到端流程的。
NQ由超过30万个自然产生的查询组成，与来自维基百科页面的人工注释的答案相结合，旨在训练问答系统并对其进行评估。
它是使用匿名的谷歌搜索查询创建的，人类注释者通过阅读整个维基百科页面并搜索两种类型的答案来找到答案：长回答涵盖了推断答案所需的所有信息，短回答简明扼要地回答了问题。根据Kwiatkowski和Collins的说法，注释的质量准确度为90％。
发起挑战
为了配合语料库的发布，谷歌推出了一项挑战，旨在促进开发一个问答系统，该系统能够理解整篇维基百科文章，不一定包含问题的答案。Kwiatkowski和Collins认为，这样的系统必须能够决定维基百科页面的任何部分是否包含推断答案所需的信息，这需要比大多数系统所展示的更深层次的语言理解。
团队表示，“我们希望NQ的发布以及相关的挑战将有助于推动更有效和更强大的QA系统的开发。我们鼓励NLU社区参与，弥补当前最先进方法的性能与人类上限之间的巨大差距。”
数据集：
ai.google.com/research/NaturalQuestions
论文：
ai.google/research/pubs/pub47761
欢迎关注ATYUN官方公众号
商务合作及内容投稿请联系邮箱:bd@atyun.com
广告
广告
写评论取消
回复取消