更新时间：2023年06月01日

• 添加Safetensor分片模型权重（最大分片大小为1GB）

KoAlpaca-Polyglot-5.8B（v1.1b）

该模型是在KoAlpaca数据集v1.1b上对 EleutherAI/polyglot-ko-5.8b 进行微调的版本

详细代码可在 KoAlpaca Github Repository 处找到

训练过程

训练超参数

训练时使用了以下超参数：

• 学习率：5e-05
• 训练批次大小：2
• 随机种子：42
• 优化器：Adam，betas=(0.9,0.999)，epsilon=1e-08
• 学习率调度器类型：线性
• 训练轮数：2.0
• 混合精度训练：Native AMP

框架版本

• Transformers 4.29.0.dev0
• Pytorch 2.0.0+cu117
• Datasets 2.10.1
• Tokenizers 0.13.2