模型:
facebook/esm2_t33_650M_UR50D
ESM-2 是一个基于掩码语言模型目标训练的先进蛋白质模型。它适用于在以蛋白质序列作为输入的各种任务上进行微调。有关模型架构和训练数据的详细信息,请参阅 accompanying paper 。您可能还对一些演示笔记本( PyTorch , TensorFlow )感兴趣,这些笔记本演示了如何在您感兴趣的任务上对 ESM-2 模型进行微调。
Hub 中提供了几个不同大小的 ESM-2 检查点。更大的大小通常具有更好的准确性,但需要更多的内存和训练时间:
| Checkpoint name | Num layers | Num parameters | 
|---|---|---|
| 1233321 | 48 | 15B | 
| 1234321 | 36 | 3B | 
| 1235321 | 33 | 650M | 
| 1236321 | 30 | 150M | 
| 1237321 | 12 | 35M | 
| 1238321 | 6 | 8M |