MiniLM:小巧快速的预训练语言理解和生成模型

MiniLM是从论文" MiniLM: Deep Self-Attention Distillation for Task-Agnostic Compression of Pre-Trained Transformers "中提取出的模型。

有关MiniLM的预处理、训练和完整细节的信息，请在 original MiniLM repository 中查找。

请注意：此检查点使用BertModel和XLMRobertaTokenizer，因此AutoTokenizer无法与此检查点一起使用！

多语言预训练模型

• 多语言MiniLMv1-L12-H384：12层、384隐藏、12头、21M Transformer参数、96M嵌入参数

多语言MiniLM使用与XLM-R相同的分词器，但我们的模型的Transformer架构与BERT相同。我们在 huggingface/transformers 的基础上提供了基于XNLI的微调代码。请将transformers中的run_xnli.py替换为 ours 以对多语言MiniLM进行微调。

我们在跨语言自然语言推断基准（XNLI）和跨语言问答基准（MLQA）上评估多语言MiniLM。

我们在从英文到其他语言的跨语言转移上评估我们的模型。按照 Conneau et al. (2019) 的规定，我们选取所有语言的联合开发集上的最佳单一模型。

此示例代码在XNLI上微调12层的多语言MiniLM。

# run fine-tuning on XNLI
DATA_DIR=/{path_of_data}/
OUTPUT_DIR=/{path_of_fine-tuned_model}/
MODEL_PATH=/{path_of_pre-trained_model}/

python ./examples/run_xnli.py --model_type minilm \
 --output_dir ${OUTPUT_DIR} --data_dir ${DATA_DIR} \
 --model_name_or_path microsoft/Multilingual-MiniLM-L12-H384 \
 --tokenizer_name xlm-roberta-base \
 --config_name ${MODEL_PATH}/multilingual-minilm-l12-h384-config.json \
 --do_train \
 --do_eval \
 --max_seq_length 128 \
 --per_gpu_train_batch_size 128 \
 --learning_rate 5e-5 \
 --num_train_epochs 5 \
 --per_gpu_eval_batch_size 32 \
 --weight_decay 0.001 \
 --warmup_steps 500 \
 --save_steps 1500 \
 --logging_steps 1500 \
 --eval_all_checkpoints \
 --language en \
 --fp16 \
 --fp16_opt_level O2

按照 Lewis et al. (2019b) 的规定，我们采用SQuAD 1.1作为训练数据，并使用MLQA英文开发数据进行早停。

引用

如果您在研究中发现MiniLM有用，请引用以下论文：

@misc{wang2020minilm,
    title={MiniLM: Deep Self-Attention Distillation for Task-Agnostic Compression of Pre-Trained Transformers},
    author={Wenhui Wang and Furu Wei and Li Dong and Hangbo Bao and Nan Yang and Ming Zhou},
    year={2020},
    eprint={2002.10957},
    archivePrefix={arXiv},
    primaryClass={cs.CL}
}