TinyBERT: Distilling BERT for Natural Language Understanding

TinyBERT是BERT-base的7.5倍小，推理速度快9.4倍，并在自然语言理解任务中取得了竞争性的表现。它在预训练和任务特定学习阶段都进行了新颖的Transformer蒸馏。在通用蒸馏中，我们使用未经微调的原始BERT-base作为老师，大规模文本语料库作为学习数据。通过在通用领域的文本上执行Transformer蒸馏，我们获得了一个通用的TinyBERT，为任务特定的蒸馏提供了良好的初始化。我们在这里提供通用的TinyBERT，以供您手头的任务使用。

有关TinyBERT技术的更多细节，请参阅我们的论文： TinyBERT: Distilling BERT for Natural Language Understanding

引用

如果您在研究中发现TinyBERT对您有用，请引用以下论文：

@article{jiao2019tinybert,
  title={Tinybert: Distilling bert for natural language understanding},
  author={Jiao, Xiaoqi and Yin, Yichun and Shang, Lifeng and Jiang, Xin and Chen, Xiao and Li, Linlin and Wang, Fang and Liu, Qun},
  journal={arXiv preprint arXiv:1909.10351},
  year={2019}
}