您尚未登录账户请先登录您的atyun账户，方可使用该功能
您的企业账号申请正在审核中审核通过后即可使用此功能，请耐心等待~
模型:
wvangils/BLOOM-350m-Beatles-Lyrics-finetuned-newlyrics
英文BLOOM-350m-Beatles-Lyrics-finetuned-newlyrics
该模型是在 bigscience/bloom-350m 数据集上进行微调的版本。它将用类似披头士文本的方式完成输入提示。
模型描述
需要更多信息
预期用途和限制
需要更多信息
训练和评估数据
需要更多信息
训练过程
训练超参数
在训练过程中使用了以下超参数：
- learning_rate：5e-05
- train_batch_size：1
- eval_batch_size：1
- seed：42
- optimizer：Adam，betas=(0.9,0.999)，epsilon=1e-08
- lr_scheduler_type：linear
- lr_scheduler_warmup_steps：100
- num_epochs：5
训练结果
| Training Loss | Epoch | Step | Validation Loss |
|---|---|---|---|
| 3.1135 | 1.0 | 138 | 3.4852 |
| 2.0717 | 2.0 | 276 | 3.8820 |
| 1.3296 | 3.0 | 414 | 3.6281 |
| 0.8146 | 4.0 | 552 | 3.8985 |
| 0.477 | 5.0 | 690 | 4.0317 |
框架版本
- Transformers 4.20.1
- Pytorch 1.11.0+cu113
- Datasets 2.3.2
- Tokenizers 0.12.1