ernie-health-zh

介绍

ERNIE-health是一个中文生物医学语言模型，它是由非标识化的在线医患对话、电子病历和教材的领域内文本预训练而来。

更多详情: https://github.com/PaddlePaddle/PaddleNLP/blob/develop/model_zoo/ernie-health/ https://arxiv.org/pdf/2110.07244.pdf

发布的模型信息

这个发布的pytorch模型是从官方发布的PaddlePaddle ERNIE模型转换而来的，并进行了一系列实验来检查转换的准确性。

• 官方的PaddlePaddle ERNIE仓库： https://github.com/PaddlePaddle/PaddleNLP/blob/develop/model_zoo/ernie-health/
• Pytorch转换仓库： https://github.com/nghuyong/ERNIE-Pytorch

如何使用

from transformers import AutoTokenizer, AutoModel
tokenizer = AutoTokenizer.from_pretrained("nghuyong/ernie-health-zh")
model = AutoModel.from_pretrained("nghuyong/ernie-health-zh")

引用

@article{wang2021building,
  title={Building Chinese Biomedical Language Models via Multi-Level Text Discrimination},
  author={Wang, Quan and Dai, Songtai and Xu, Benfeng and Lyu, Yajuan and Zhu, Yong and Wu, Hua and Wang, Haifeng},
  journal={arXiv preprint arXiv:2110.07244},
  year={2021}
}