具有15亿参数的生成预训练转换器，用于芬兰语。

TurkuNLP芬兰GPT-3模型是基于BLOOM架构的预训练的单语GPT风格语言模型系列。请注意，这些模型是纯语言模型，意味着它们不适用于对话或回答问题。

这些模型旨在用作基础模型，可以进行指令微调，以用作现代聊天模型。

所有模型均经过300B个标记的训练。

参数

数据集

我们使用了多个芬兰资源的组合。

• 芬兰互联网语法库mC4多语种巨大，经过清理的Common Crawl
• Common Crawl芬兰语
• 芬兰维基百科
• Lönnrot Projekti Lönnrot
• 国家图书馆“epub”收藏
• 国家图书馆“lehdet”收藏
• Suomi24 Suomi 24语料库2001-2020
• Reddit r/Suomi提交和评论
• STT芬兰新闻机构存档1992-2018
• Yle芬兰新闻机构存档2011-2018
• Yle芬兰新闻机构存档2019-2020
• Yle News Archive易读芬兰语2011-2018
• Yle News Archive易读芬兰语2019-2020
• ROOTS TODO

采样比例

更多文档和论文即将发布。