wav2vec2-xlsr-ft-cy

在 Welsh Common Voice version 11 dataset 上进行了 facebook/wav2vec2-large-xlsr-53 微调。

在此处可以找到用于训练声学和KenLM语言模型的源代码和脚本，以及在转录或自托管API服务中进行推理的示例： https://github.com/techiaith/docker-wav2vec2-xlsr-ft-cy

使用方法

wav2vec2-xlsr-ft-cy（声学）模型可直接使用（无需语言模型），方法如下：

import torch
import torchaudio
import librosa

from transformers import Wav2Vec2ForCTC, Wav2Vec2Processor

processor = Wav2Vec2Processor.from_pretrained("techiaith/wav2vec2-xlsr-ft-cy")
model = Wav2Vec2ForCTC.from_pretrained("techiaith/wav2vec2-xlsr-ft-cy")

audio, rate = librosa.load(audio_file, sr=16000)

inputs = processor(audio, sampling_rate=16_000, return_tensors="pt", padding=True)

with torch.no_grad():
  tlogits = model(inputs.input_values, attention_mask=inputs.attention_mask).logits

# greedy decoding
predicted_ids = torch.argmax(logits, dim=-1)

print("Prediction:", processor.batch_decode(predicted_ids))

使用语言模型

有关KenLM使用及其与Parlance PyTorch CTC解码绑定库的示例的更多详细信息，请参见 https://github.com/techiaith/docker-wav2vec2-xlsr-ft-cy/releases/tag/22.10 ： https://github.com/parlance/ctcdecode

评估

根据威尔士共同语音第11个测试集，techiaith/wav2vec2-xlsr-ft-cy独立模型的WER为6.04％

当与KenLM语言模型协助时，相同的测试结果WER为4.05％

请参见： https://github.com/techiaith/docker-wav2vec2-xlsr-ft-cy/blob/main/train/python/evaluate.py