BLOOM，Petals版本

该模型是经过后处理的 bigscience/bloom 版本，可以在家中使用 Petals 群集运行。

请查看：

• 了解模型的能力、规格和使用条款的 original model card
• 如何安装Petals并在Petals群集上运行该模型的 Petals repository

我们提供以下的最小代码示例。

使用该模型

from petals import DistributedBloomForCausalLM

model = DistributedBloomForCausalLM.from_pretrained("bigscience/bloom-petals")
# Embeddings & prompts are on your device, BLOOM blocks are distributed across the Internet

inputs = tokenizer("A cat sat", return_tensors="pt")["input_ids"]
outputs = model.generate(inputs, max_new_tokens=5)
print(tokenizer.decode(outputs[0]))  # A cat sat on a mat...

提供模型块

python -m petals.cli.run_server bigscience/bloom-petals