TAPEX（大型模型）

TAPEX是由Qian Liu，Bei Chen，Jiaqi Guo，Morteza Ziyadi，Zeqi Lin，Weizhu Chen和Jian-Guang Lou于 TAPEX: Table Pre-training via Learning a Neural SQL Executor 提出的。原始的repo可以在 here 找到。

模型描述

TAPEX（表格预训练通过执行）是一种概念简单且经验丰富的预训练方法，可以为现有模型赋予表格推理技能。TAPEX通过学习一个在合成语料库上的神经SQL执行器来实现表格预训练，该语料库是通过自动合成可执行的SQL查询得到的。

TAPEX基于BART架构，该架构是一个具有双向（类似BERT的）编码器和自回归（类似GPT的）解码器的transformer编码器-解码器（seq2seq）模型。

预期用途

⚠️此模型检查点仅用于下游任务的微调，您不能使用此模型模拟神经SQL执行，即不能使用TAPEX在给定表格上执行SQL查询。可以进行神经执行SQL查询的模型位于 here 。

由于BART large存在已知问题，因此将两种意图的两个模型分开。我们建议读者查看 this comment 以了解更多细节。

如何进行微调

请查找微调脚本 here 。

BibTeX条目和引用信息

@inproceedings{
    liu2022tapex,
    title={{TAPEX}: Table Pre-training via Learning a Neural {SQL} Executor},
    author={Qian Liu and Bei Chen and Jiaqi Guo and Morteza Ziyadi and Zeqi Lin and Weizhu Chen and Jian-Guang Lou},
    booktitle={International Conference on Learning Representations},
    year={2022},
    url={https://openreview.net/forum?id=O50443AsCP}
}