更新于 2023.06.01

• 添加了 Safetensor 分片模型权重（最大分片为 1GB）

KoAlpaca-Polyglot-12.8B (v1.1b)

此模型是基于 KoAlpaca 数据集 v1.1b 上的 EleutherAI/polyglot-ko-12.8b 进行微调得到的版本

详细代码可在 KoAlpaca Github Repository 中找到

训练过程

训练超参数

训练中使用了以下超参数：

• 学习率：5e-05
• 训练批大小：1
• 随机种子：42
• 分布式类型：多 GPU（A100 80G）
• 设备数：4
• 梯度积累步数：64
• 总训练批大小：256
• 总评估批大小：32
• 优化器：带有 betas=(0.9,0.999) 和 epsilon=1e-08 的 Adam
• 学习率调度器类型：linear
• 训练轮数：2.0

框架版本

• Transformers 4.28.1
• Pytorch 2.0.0+cu117
• Datasets 2.11.0
• Tokenizers 0.13.3