xlm-mlm-en-2048

目录

模型细节

XLM模型在 Cross-lingual Language Model Pretraining 年由Guillaume Lample和Alexis Conneau提出。它是一个使用因果语言建模（CLM）目标（下一个标记预测）、掩码语言建模（MLM）目标（类似BERT）或翻译语言建模（TLM）目标（BERT的MLM对多语言输入的扩展）预训练的transformer模型。该模型是通过在英文文本上进行掩码语言建模训练的。

模型描述

• 开发者：Facebook AI的研究人员，参见 associated paper 和 GitHub Repo
• 模型类型：语言模型
• 自然语言处理的语言：英文
• 许可证：CC-BY-NC-4.0
• 相关模型：其他 XLM models
• 获取更多信息的资源：
  • Cross-lingual Language Model Pretraining 由Guillaume Lample和Alexis Conneau（2019）撰写
  • Unsupervised Cross-lingual Representation Learning at Scale 由Conneau等人（2020）撰写
  • GitHub Repo
  • Hugging Face XLM docs

使用

直接使用

该模型是一个语言模型。该模型可以用于掩码语言建模。

下游使用

要了解更多关于此任务和潜在的下游用途，请参阅Hugging Face的 fill mask docs 和 Hugging Face Multilingual Models for Inference 文档。还可以参考 associated paper 。

超出范围的使用

该模型不应用于故意创造对人们具有敌意或疏远环境的目的。

偏见、风险和限制

已经进行了大量研究来探索语言模型的偏见和公平性问题（参见 Sheng et al. (2021) 和 Bender et al. (2021) 等）。

建议

用户（包括直接使用和下游使用）应了解模型的风险、偏见和限制。

训练

需要更多信息。请参阅 associated GitHub Repo 。

评估

需要更多信息。请参阅 associated GitHub Repo 。

环境影响

可以使用 Machine Learning Impact calculator 和 Lacoste et al. (2019) 中提供的方法估计碳排放量。

• 硬件类型：需要更多信息
• 使用时间：需要更多信息
• 云提供商：需要更多信息
• 计算区域：需要更多信息
• 排放的碳量：需要更多信息

引用

BibTeX:

@article{lample2019cross,
  title={Cross-lingual language model pretraining},
  author={Lample, Guillaume and Conneau, Alexis},
  journal={arXiv preprint arXiv:1901.07291},
  year={2019}
}

APA:

• Lample, G., & Conneau, A. (2019). Cross-lingual language model pretraining. arXiv preprint arXiv:1901.07291.

模型卡片作者

该模型卡片由Hugging Face团队撰写。

如何开始使用模型

使用下面的代码开始使用模型。查看 Hugging Face XLM docs 以获取更多示例。

from transformers import XLMTokenizer, XLMModel
import torch

tokenizer = XLMTokenizer.from_pretrained("xlm-mlm-en-2048")
model = XLMModel.from_pretrained("xlm-mlm-en-2048")

inputs = tokenizer("Hello, my dog is cute", return_tensors="pt")
outputs = model(**inputs)

last_hidden_states = outputs.last_hidden_state