ERNIE-2.0-large

简介

ERNIE 2.0是百度于2019年提出的一个持续预训练框架，通过不断进行多任务学习来构建和学习增量预训练任务。实验结果表明，ERNIE 2.0在包括英文任务GLUE基准测试和中文的一些常见任务在内的16项任务上表现优于BERT和XLNet。

更多详情： https://arxiv.org/abs/1907.12412

发布的模型信息

该发布的PyTorch模型是从官方发布的PaddlePaddle ERNIE模型转换而来的，并进行了一系列实验以检验转换的准确性。

• 官方PaddlePaddle ERNIE仓库： https://github.com/PaddlePaddle/ERNIE
• PyTorch转换仓库： https://github.com/nghuyong/ERNIE-Pytorch

如何使用

from transformers import AutoTokenizer, AutoModel
tokenizer = AutoTokenizer.from_pretrained("nghuyong/ernie-2.0-large-en")
model = AutoModel.from_pretrained("nghuyong/ernie-2.0-large-en")

引用

@article{sun2019ernie20,
  title={ERNIE 2.0: A Continual Pre-training Framework for Language Understanding},
  author={Sun, Yu and Wang, Shuohuan and Li, Yukun and Feng, Shikun and Tian, Hao and Wu, Hua and Wang, Haifeng},
  journal={arXiv preprint arXiv:1907.12412},
  year={2019} 
}