英文

ESM-2

ESM-2是一种最先进的蛋白质模型,它是在遮蔽语言建模目标的基础上进行训练的。它适用于在以蛋白质序列作为输入的各种任务上进行微调。有关模型架构和训练数据的详细信息,请参阅 accompanying paper 。您还可能对一些演示笔记本( PyTorch TensorFlow )感兴趣,这些演示演示了如何在您感兴趣的任务上进行ESM-2模型的微调。

在Hub中提供了几个不同大小的ESM-2检查点。通常较大的尺寸具有较高的准确性,但需要更多的内存和训练时间:

Checkpoint name Num layers Num parameters
1233321 48 15B
1234321 36 3B
1235321 33 650M
1236321 30 150M
1237321 12 35M
1238321 6 8M