模型:

EMBEDDIA/litlat-bert

英文

LitLat BERT

LitLat BERT是一个三语言模型,采用xlm-roberta-base架构,在立陶宛、拉脱维亚和英语语料库上进行训练。与 multilingual BERT 相比,该模型专注于三种语言的表现更好,同时提供了跨语言知识转移的选项,这是单语模型所没有的。

命名实体识别评估

我们将LitLat BERT与多语言BERT(mBERT)、XLM-RoBERTa(XLM-R)和单语拉脱维亚BERT(LVBERT)(Znotins和Barzdins,2020)进行比较。报告了在三个数据集中共享的三个命名实体类别(人物、地点、组织)的宏F1分数。

Language mBERT XLM-R LVBERT LitLat
Latvian 0.830 0.865 0.797 0.881
Lithuanian 0.797 0.817 / 0.850
English 0.939 0.937 / 0.943