模型:

facebook/esm2_t48_15B_UR50D

英文

ESM-2

ESM-2是一种先进的蛋白质模型,其训练依赖于掩码语言建模目标。它适用于对以蛋白质序列为输入的各种任务进行微调。有关模型体系结构和训练数据的详细信息,请参阅 accompanying paper 。您可能还对一些演示笔记本感兴趣( PyTorch TensorFlow ),演示了如何在您感兴趣的任务上对ESM-2模型进行微调。

在Hub中有几个可用的ESM-2检查点,其大小不同。较大的大小通常具有稍好的准确性,但需要更多的内存和训练时间:

Checkpoint name Num layers Num parameters
1233321 48 15B
1234321 36 3B
1235321 33 650M
1236321 30 150M
1237321 12 35M
1238321 6 8M