Asteroid 模型

描述：

• 代码：此预训练模型的代码可以在此处找到 here .

• 笔记本：包含示例的 Colab 笔记本可以在此处找到 here

• Paper ："多解码器 DPRNN：高准确度源计数和分离"，朱军哲，叶瑞蒙，Mark Hasegawa-Johnson。ICASSP(2021)。

• 摘要：本模型在具有未知扬声器数量的源分离问题上达到了 SOTA 级别。它使用多个解码器头（每个头处理不同数量的扬声器），以及一个分类器头，用于选择要使用的解码器头。

• Project Page

• Original research repo

该模型由 Joseph Zhu 使用 Asteroid 中的 wsj0-mix-var/Multi-Decoder-DPRNN 配方进行训练。它是在 Wsj0MixVar 数据集的 sep_count 任务上进行训练的。

训练配置：

filterbank:
  n_filters: 64
  kernel_size: 8
  stride: 4
masknet:
  n_srcs: [2, 3, 4, 5]
  bn_chan: 128
  hid_size: 128
  chunk_size: 128
  hop_size: 64
  n_repeats: 8
  mask_act: 'sigmoid'
  bidirectional: true
  dropout: 0
  use_mulcat: false
training:
  epochs: 200
  batch_size: 2
  num_workers: 2
  half_lr: yes
  lr_decay: yes
  early_stop: yes
  gradient_clipping: 5
optim:
  optimizer: adam
  lr: 0.001
  weight_decay: 0.00000
data:
  train_dir: "data/{}speakers/wav8k/min/tr"
  valid_dir: "data/{}speakers/wav8k/min/cv"
  task: sep_count
  sample_rate: 8000
  seglen: 4.0
  minlen: 2.0
loss:
  lambda: 0.05

结果：

'Accuracy': 0.9723333333333334, 'P-Si-SNR': 10.36027378628496

许可声明：

本作品 "MultiDecoderDPRNN" 是根据 CSR-I (WSJ0) Complete 的衍生作品，由 LDC 使用在 LDC User Agreement for Non-Members 下（仅用于研究）。"MultiDecoderDPRNN" 由 Joseph Zhu 根据 Attribution-ShareAlike 3.0 Unported 授权许可。