模型:
EMBEDDIA/litlat-bert
LitLat BERT是一个三语言模型,采用xlm-roberta-base架构,在立陶宛、拉脱维亚和英语语料库上进行训练。与 multilingual BERT 相比,该模型专注于三种语言的表现更好,同时提供了跨语言知识转移的选项,这是单语模型所没有的。
我们将LitLat BERT与多语言BERT(mBERT)、XLM-RoBERTa(XLM-R)和单语拉脱维亚BERT(LVBERT)(Znotins和Barzdins,2020)进行比较。报告了在三个数据集中共享的三个命名实体类别(人物、地点、组织)的宏F1分数。
| Language | mBERT | XLM-R | LVBERT | LitLat |
|---|---|---|---|---|
| Latvian | 0.830 | 0.865 | 0.797 | 0.881 |
| Lithuanian | 0.797 | 0.817 | / | 0.850 |
| English | 0.939 | 0.937 | / | 0.943 |