wav2vec2-xlsr-ft-en-cy

这是一个针对威尔士语和英语的语音识别声学模型，是从 facebook/wav2vec2-large-xlsr-53 开始，使用来自各自的Common Voice数据集版本11的英语/威尔士语平衡数据进行微调的（ https://commonvoice.mozilla.org/cy/datasets ）。使用脚本在 https://github.com/techiaith/docker-commonvoice-custom-splits-builder#introduction 处构建了自定义双语Common Voice训练/开发和测试集划分。

可以在 https://github.com/techiaith/docker-wav2vec2-cy 找到训练wav2vec2-xlsr-ft-en-cy的源代码和脚本。

用法

wav2vec2-xlsr-ft-en-cy模型可以直接使用，如下所示：

import torch
import torchaudio
import librosa

from transformers import Wav2Vec2ForCTC, Wav2Vec2Processor

processor = Wav2Vec2Processor.from_pretrained("techiaith/wav2vec2-xlsr-ft-en-cy")
model = Wav2Vec2ForCTC.from_pretrained("techiaith/wav2vec2-xlsr-ft-en-cy")

audio, rate = librosa.load(audio_file, sr=16000)

inputs = processor(audio, sampling_rate=16_000, return_tensors="pt", padding=True)

with torch.no_grad():
  tlogits = model(inputs.input_values, attention_mask=inputs.attention_mask).logits

# greedy decoding
predicted_ids = torch.argmax(logits, dim=-1)

print("Prediction:", processor.batch_decode(predicted_ids))

评估

根据从Common Voice版本11派生的平衡的英语+威尔士语测试集，techiaith/wav2vec2-xlsr-ft-en-cy的识别错误率（WER）为17.7%。

然而，当使用特定语言的测试集进行评估时，该模型显示出对威尔士语的性能更好的偏见。