模型:

facebook/dpr-reader-single-nq-base

类库:

PyTorch TensorFlow Transformers

数据集:

nq_open 3Anq_open

语言:

其他:

dpr

预印本库:

arxiv:2004.04906 arxiv:1702.08734 arxiv:1910.09700

许可:

cc-by-nc-4.0

模型介绍文件清单

英文

dpr-reader-single-nq-base

from transformers import DPRReader, DPRReaderTokenizer

tokenizer = DPRReaderTokenizer.from_pretrained("facebook/dpr-reader-single-nq-base")
model = DPRReader.from_pretrained("facebook/dpr-reader-single-nq-base")
encoded_inputs = tokenizer(
    questions=["What is love ?"],
    titles=["Haddaway"],
    texts=["'What Is Love' is a song recorded by the artist Haddaway"],
    return_tensors="pt",
)
outputs = model(**encoded_inputs)
start_logits = outputs.start_logits
end_logits = outputs.end_logits
relevance_logits = outputs.relevance_logits

应用

dpr-reader-single-nq-base、 dpr-ctx_encoder-single-nq-base 和 dpr-question_encoder-single-nq-base 可用于开放领域问答任务。

滥用和超出范围的使用

模型不应被用于有意创造对人们具有敌意或疏远的环境。此外，DPR模型集不是为了成为有关人或事件的真实陈述，因此使用模型生成此类内容超出了该模型的能力范围。

风险、限制和偏见

内容警告：读者应注意，本节可能包含令人不安、冒犯和能够传播历史和现有刻板印象的内容。

大量研究已经探讨了语言模型的偏差和公平性问题（参见，例如， Sheng et al., 2021 和 Bender et al., 2021 ）。模型生成的预测可能包含针对受保护类别、身份特征以及敏感的社会和职业群体的令人不安和有害的刻板印象。

训练

训练数据：该模型使用了 Natural Questions (NQ) dataset ( Lee et al., 2019 ; Kwiatkowski et al., 2019 ) 进行训练。模型作者写道：

数据集是为端到端问答而设计的。问题来自真实的Google搜索查询，答案是由注释者在维基百科文章中找到的片段。

训练过程：训练过程在 associated paper 中描述：

给定一个包含 M 个文本段落的集合，我们密集段落检索器（DPR）的目标是将所有段落索引到低维连续空间中，以便它在运行时可以高效地检索与输入问题相关的前 k 个段落供阅读器使用。

我们的密集段落检索器（DPR）使用密集编码器 EP(·) ，将任何文本段落映射到一个 d- 维实值向量，并为我们将在检索中使用的所有 M 个段落构建索引。在运行时，DPR应用不同的编码器 EQ(·) ，将输入问题映射到一个 d- 维向量，并检索与问题向量最接近的 k 个段落。

作者报告说，他们使用两个独立的BERT（ Devlin et al., 2019 ）网络（基本、非大小写）作为编码器，并在推理时使用FAISS（ Johnson et al., 2017 ）对段落进行编码和索引。有关训练的进一步详细信息，请参阅论文，包括编码器、推理、正面和负面段落以及批内负面。

评估

以下评估信息摘自 associated paper 。

测试数据、因素和指标：

模型开发者报告了模型在五个问答数据集上的性能，使用 top-k 准确率（k ∈ {20, 100}）。这些数据集是 NQ 、 TriviaQA 、 WebQuestions (WQ) 、 CuratedTREC (TREC) 和 SQuAD v1.1 。

结果

Top 20	Top 100
NQ	TriviaQA	WQ	TREC	SQuAD	NQ	TriviaQA	WQ	TREC	SQuAD
78.4	79.4	73.2	79.8	63.2	85.4	85.0	81.4	89.1	77.2

环境影响

碳排放可以使用 Machine Learning Impact calculator 和 Lacoste et al. (2019) 中介绍的方法来估计。我们提供硬件类型并基于 associated paper 进行估计。

硬件类型：8个32GB的GPU
使用时间：未知
云服务提供商：未知
计算地区：未知
排放碳量：未知

技术规格

有关模型架构、目标、计算基础设施和训练详情，请参阅 associated paper 。

引用信息

@inproceedings{karpukhin-etal-2020-dense,
    title = "Dense Passage Retrieval for Open-Domain Question Answering",
    author = "Karpukhin, Vladimir and Oguz, Barlas and Min, Sewon and Lewis, Patrick and Wu, Ledell and Edunov, Sergey and Chen, Danqi and Yih, Wen-tau",
    booktitle = "Proceedings of the 2020 Conference on Empirical Methods in Natural Language Processing (EMNLP)",
    month = nov,
    year = "2020",
    address = "Online",
    publisher = "Association for Computational Linguistics",
    url = "https://www.aclweb.org/anthology/2020.emnlp-main.550",
    doi = "10.18653/v1/2020.emnlp-main.550",
    pages = "6769--6781",
}

模型卡片作者

本模型卡片由Hugging Face团队编写。

作者:

Meta AI

数据集大小:

836.3 MB

目录

模型详情

如何开始使用该模型

应用

风险、限制和偏见

训练

评估

环境影响

技术规格

引用信息

模型卡片作者