模型:
tinkoff-ai/ruDialoGPT-medium
此代模型是基于 sberbank-ai/rugpt3medium_based_on_gpt2 的。它是根据大量的对话数据进行训练的,可以用于构建生成式对话代理。
此模型的上下文大小为3。
我们在一份私人验证集上计算了 this paper 中介绍的指标:
| sensibleness | specificity | SSA | |
|---|---|---|---|
| 1233321 | 0.64 | 0.5 | 0.57 |
| 1234321 | 0.78 | 0.69 | 0.735 |
如何使用:
import torch
from transformers import AutoTokenizer, AutoModelWithLMHead
tokenizer = AutoTokenizer.from_pretrained('tinkoff-ai/ruDialoGPT-medium')
model = AutoModelWithLMHead.from_pretrained('tinkoff-ai/ruDialoGPT-medium')
inputs = tokenizer('@@ПЕРВЫЙ@@ привет @@ВТОРОЙ@@ привет @@ПЕРВЫЙ@@ как дела? @@ВТОРОЙ@@', return_tensors='pt')
generated_token_ids = model.generate(
**inputs,
top_k=10,
top_p=0.95,
num_beams=3,
num_return_sequences=3,
do_sample=True,
no_repeat_ngram_size=2,
temperature=1.2,
repetition_penalty=1.2,
length_penalty=1.0,
eos_token_id=50257,
max_new_tokens=40
)
context_with_response = [tokenizer.decode(sample_token_ids) for sample_token_ids in generated_token_ids]
context_with_response