ERNIE-2.0

简介

ERNIE 2.0 是百度于2019年提出的一种持续预训练框架，通过不断的多任务学习来构建和学习增量预训练任务。实验证明，ERNIE 2.0 在包括英语任务在内的16个任务上，在GLUE基准测试和一些常见的中文任务上表现优于BERT和XLNet。

更多细节： https://arxiv.org/abs/1907.12412

发布的模型信息

此发布的PyTorch模型是从官方发布的PaddlePaddle ERNIE模型中转换而来的，并进行了一系列的实验来检查转换的准确性。

官方PaddlePaddle ERNIE代码库： https://github.com/PaddlePaddle/ERNIE
PyTorch转换代码库： https://github.com/nghuyong/ERNIE-Pytorch

如何使用

from transformers import AutoTokenizer, AutoModel
tokenizer = AutoTokenizer.from_pretrained("nghuyong/ernie-2.0-base-en")
model = AutoModel.from_pretrained("nghuyong/ernie-2.0-base-en")

引用

@article{sun2019ernie20,
  title={ERNIE 2.0: A Continual Pre-training Framework for Language Understanding},
  author={Sun, Yu and Wang, Shuohuan and Li, Yukun and Feng, Shikun and Tian, Hao and Wu, Hua and Wang, Haifeng},
  journal={arXiv preprint arXiv:1907.12412},
  year={2019} 
}

作者:

HuYong

数据集大小:

417.93 MB