Bert-base-chinese

目录

• 模型细节
• 应用
• 风险、限制和偏见
• 训练
• 评估
• 如何开始使用该模型

模型细节

模型描述

该模型已经针对中文进行了预训练，采用了与原始BERT论文中的字片段相互独立的训练和随机输入填充。

• 开发者：HuggingFace团队
• 模型类型：填充-掩码
• 语言：中文
• 许可证：[需要更多信息]
• 父模型：有关BERT基础模型的更多信息，请参见 BERT base uncased model 。

模型来源

• 论文： BERT

应用

此模型可用于填充-掩码语言建模。

风险、限制和偏见

内容警告：读者应该注意，本节内容包含令人不安、冒犯和可能传播历史和当前刻板印象的内容。

大量研究已经探讨了语言模型的偏见和公平性问题（参见，例如， Sheng et al. (2021) 和 Bender et al. (2021) ）。

训练

• type_vocab_size: 2
• vocab_size: 21128
• num_hidden_layers: 12

[需要更多信息]

评估

[需要更多信息]

如何开始使用该模型

from transformers import AutoTokenizer, AutoModelForMaskedLM

tokenizer = AutoTokenizer.from_pretrained("bert-base-chinese")

model = AutoModelForMaskedLM.from_pretrained("bert-base-chinese")