使用13B个参数的生成式预训练Transformer模型用于芬兰语。

TurkuNLP芬兰GPT-3模型是一组基于BLOOM架构的预训练的母语GPT风格语言模型。请注意，这些模型是纯语言模型，意味着它们不适用于对话或回答问题。

这些模型旨在作为基础模型使用，可以进行指令微调，用作现代对话模型。

所有模型的训练语料为300B个标记。

参数

数据集

我们使用多个芬兰语资源的组合。

• Finnish Internet Parsebank mC4多语言巨型清理Common Crawl
• Common Crawl芬兰语
• 芬兰维基百科
• Lönnrot Projekti Lönnrot
• 国家图书馆“epub”收藏
• 国家图书馆“lehdet”收藏
• Suomi24 Suomi 24语料库2001-2020
• Reddit r/Suomi提交和评论
• STT芬兰新闻机构档案1992-2018
• Yle芬兰新闻档案2011-2018
• Yle芬兰新闻档案2019-2020
• Yle易读芬兰新闻档案2011-2018
• Yle易读芬兰新闻档案2019-2020
• ROOTS TODO

采样比例

更多文档和论文即将推出。