您尚未登录账户请先登录您的atyun账户，方可使用该功能
您的企业账号申请正在审核中审核通过后即可使用此功能，请耐心等待~
模型:
nghuyong/ernie-gram-zh
英文ERNIE-Gram-zh
介绍
ERNIE-Gram：使用显式N-Gram遮盖语言建模进行预训练的自然语言理解模型
更多细节： https://arxiv.org/abs/2010.12148
发布的模型信息
| Model Name | Language | Model Structure |
|---|---|---|
| ernie-gram-zh | Chinese | Layer:12, Hidden:768, Heads:12 |
这个发布的Pytorch模型是从官方发布的PaddlePaddle ERNIE模型转换而来，并进行了一系列实验来检查转换的准确性。
- 官方PaddlePaddle ERNIE资料库： https://github.com/PaddlePaddle/PaddleNLP/blob/develop/paddlenlp/transformers/ernie_gram/modeling.py
- Pytorch转换资料库： https://github.com/nghuyong/ERNIE-Pytorch
如何使用
from transformers import AutoTokenizer, AutoModel
tokenizer = AutoTokenizer.from_pretrained("nghuyong/ernie-gram-zh")
model = AutoModel.from_pretrained("nghuyong/ernie-gram-zh")