这是一个在Wikitext-103数据集上微调的gpt2模型。

使用“滑动窗口”上下文，使用run_clm.py脚本在 https://github.com/neulab/knn-transformers 上实现的模型，达到了14.84的困惑度。

此模型是作为ICML'2022论文的一部分发布的。

有关更多信息，请参见： https://github.com/neulab/knn-transformers

如果您使用此模型，请引用：

@inproceedings{alon2022neuro,
  title={Neuro-Symbolic Language Modeling with Automaton-augmented Retrieval},
  author={Alon, Uri and Xu, Frank and He, Junxian and Sengupta, Sudipta and Roth, Dan and Neubig, Graham},
  booktitle={International Conference on Machine Learning},
  pages={468--485},
  year={2022},
  organization={PMLR}
}