ERNIE-1.0

介绍

ERNIE（Enhanced Representation through kNowledge IntEgration）是百度于2019年提出的，旨在通过知识掩码策略（即实体级掩码和短语级掩码）来增强学习语言表示。实验结果表明，ERNIE在包括自然语言推理、语义相似性、命名实体识别、情感分析和问答等五个中文自然语言处理任务上取得了最先进的结果。

更多详情： https://arxiv.org/abs/1904.09223

发布的模型信息

此发布的PyTorch模型是从官方发布的PaddlePaddle ERNIE模型转换而来，并进行了一系列实验来检查转换的准确性。

• 官方 PaddlePaddle ERNIE 仓库： https://github.com/PaddlePaddle/ERNIE
• PyTorch 转换仓库： https://github.com/nghuyong/ERNIE-Pytorch

如何使用

from transformers import AutoTokenizer, AutoModel
tokenizer = AutoTokenizer.from_pretrained("nghuyong/ernie-1.0-base-zh")
model = AutoModel.from_pretrained("nghuyong/ernie-1.0-base-zh")

引用

@article{sun2019ernie,
  title={Ernie: Enhanced representation through knowledge integration},
  author={Sun, Yu and Wang, Shuohuan and Li, Yukun and Feng, Shikun and Chen, Xuyi and Zhang, Han and Tian, Xin and Zhu, Danxiang and Tian, Hao and Wu, Hua},
  journal={arXiv preprint arXiv:1904.09223},
  year={2019}
}