🚧 注意：该仓库正在建设中，当前上传的版本是在KoAlpaca v1.0数据集上微调的KoRWKV模型的20%训练检查点（大约310亿个令牌）🚧

beomi/KoAlpaca-KoRWKV-1.5B（v1.0）

该模型是在KoAlpaca v1.0数据集上用 KoRWKV-1.5B 模型进行微调的版本

数据集可在 KoAlpaca Github Repository 处找到

训练过程

训练设备

• A100 80G x2
• 大约2小时

训练超参数

训练过程中使用了以下超参数：

• learning_rate: 5e-05
• train_batch_size: 8
• seed: 42
• optimizer: Adafactor
• lr_scheduler_type: linear
• num_epochs: 2.0
• mixed_precision_training: Native AMP fp16

框架版本

• Transformers 4.30.0.dev0
• Pytorch 2.0.0+cu117
• Datasets 2.10.1
• Tokenizers 0.13.2