Whisper Large Norwegian Bokmål

这个模型是在多个数据集上进行训练的 openai/whisper-large-v2 的优化版本。

它目前正在大规模训练中。目前在评估集上的结果如下：

• 损失：0.2477
• WER：10.718635559082031

模型描述

模型是在大约5000个小时的语音语料库上进行训练的。数据来源包括挪威广播公司NRK的字幕、挪威议会的演讲记录以及挪威语言技术的语音录音。

拟用途与限制

当该模型完成后，任何人都可以免费使用它。

训练超参数

在训练过程中使用了以下超参数：

• 学习率：3e-06
• 训练批大小：64
• 梯度累积步数：2
• 评估批大小：32
• 种子：42
• 优化器：Adam，参数为betas=(0.9,0.999)，epsilon=1e-08
• lr_scheduler_type：以warmup为常数
• lr_scheduler_warmup_steps：1000
• 训练步数：50,000（当前 @1,000）
• 混合精度训练：fp16
• deepspeed：true

实时训练结果

请参见 Tensorboad Metrics