PhoBERT：针对越南语的预训练语言模型

预训练的PhoBERT模型是针对越南语的最先进的语言模型（ Pho ，即“Phở”，是越南的一种流行食品）：

• “base”和“large”是首个公开的用于越南语的大规模单语言模型的PhoBERT版本。PhoBERT的预训练方法基于 RoBERTa ，它优化了 BERT 的预训练过程，以获得更强大的性能。
• PhoBERT在四个下游越南自然语言处理任务中，包括词性标注、依存句法分析、命名实体识别和自然语言推理，优于先前的单语言和多语言方法，取得了最新的最佳表现。

PhoBERT的总体架构和实验结果可以在我们的EMNLP-2020发现中找到 paper ：

@article{phobert,
title     = {{PhoBERT: Pre-trained language models for Vietnamese}},
author    = {Dat Quoc Nguyen and Anh Tuan Nguyen},
journal   = {Findings of EMNLP},
year      = {2020}
}

当使用PhoBERT来帮助生成发表结果或融入其他软件时，请引用我们的论文。

有关更多信息或请求，请访问 PhoBERT's homepage ！