XGLM-7.5B

XGLM-7.5B是一个多语言自回归语言模型（具有75亿个参数），在平衡语料库上进行训练，该语料库包含各种语言，总共有5000亿个子标记。它在《12 31321》由Xi Victoria Lin*、Todor Mihaylov、Mikel Artetxe、Tianlu Wang、Shuohui Chen、Daniel Simig、Myle Ott、Naman Goyal、Shruti Bhosale、Jingfei Du、Ramakanth Pasunuru、Sam Shleifer、Punit Singh Koura、Vishrav Chaudhary、Brian O'Horo、Jeff Wang、Luke Zettlemoyer、Zornitsa Kozareva、Mona Diab、Veselin Stoyanov、Xian Li*（*同等贡献）的文章中进行了介绍。原始实现已在《12 32321》中发布。

训练数据统计

XGLM-7.5B的训练数据统计如下表所示。

模型卡片

有关使用该模型的具体用途，请参考XGLM-7.5B开发团队发布的《12333 21》。

示例（COPA）

以下代码片段显示了如何在英语、中文和印地语的Choice of Plausible Alternatives（COPA）任务上评估我们的模型（GPT-3风格，零样本）。