您尚未登录账户请先登录您的atyun账户，方可使用该功能
您的企业账号申请正在审核中审核通过后即可使用此功能，请耐心等待~
模型:
ales/whisper-small-belarusian
英文独白小白俄罗斯
该模型是在mozilla-foundation/common_voice_11_0 be数据集上fine-tuned的版本。它在评估集上取得了以下结果：
- 验证集上的损失：0.0706
- 验证集上的WER：6.3672
- 测试集上的WER：6.79
源代码
所有源代码都位于：
- GitHub repository
- 和src文件夹下
这两个位置的代码应该是相同的。GitHub用于更轻松地开发和训练多个模型（小型、基础等）。
模型描述
需要更多信息
预期用途和限制
需要更多信息
训练和评估数据
需要更多信息
训练过程
训练超参数
训练过程中使用了以下超参数：
- 学习率：0.0001
- 训练批次大小：64
- 评估批次大小：64
- 种子：42
- 优化器：Adam，beta为(0.9,0.999)，epsilon为1e-08
- lr_scheduler类型：线性
- lr_scheduler_warmup_steps：500
- 训练步骤：12000
- 混合精度训练：本地AMP
训练结果
| Training Loss | Epoch | Step | Validation Loss | Wer |
|---|---|---|---|---|
| 0.1907 | 0.08 | 1000 | 0.2546 | 25.4639 |
| 0.1482 | 0.17 | 2000 | 0.1641 | 17.1676 |
| 0.1175 | 0.25 | 3000 | 0.1454 | 15.5940 |
| 0.0958 | 0.33 | 4000 | 0.1261 | 13.2625 |
| 0.099 | 0.42 | 5000 | 0.1012 | 10.6143 |
| 0.028 | 1.05 | 6000 | 0.1053 | 9.8794 |
| 0.0473 | 1.13 | 7000 | 0.1029 | 10.3078 |
| 0.0391 | 1.21 | 8000 | 0.0924 | 9.2419 |
| 0.0423 | 1.3 | 9000 | 0.0797 | 7.9249 |
| 0.0604 | 1.38 | 10000 | 0.0688 | 7.0150 |
| 0.0121 | 2.01 | 11000 | 0.0696 | 6.4638 |
| 0.0155 | 2.1 | 12000 | 0.0706 | 6.3672 |
框架版本
- Transformers 4.26.0.dev0
- Pytorch 1.13.0+cu117
- Datasets 2.7.1.dev0
- Tokenizers 0.13.2