英文

ChatGPT Prompt Generator

该模型是在ChatGPT提示数据集上经过微调的版本。它在评估集上取得了以下结果:

  • 训练损失: 2.8329
  • 验证损失: 2.5015
  • Epoch: 4

使用目的和限制

您可以使用它来生成ChatGPT人物角色。只需输入如下的人物角色描述:

from transformers import BartForConditionalGeneration, BartTokenizer

example_english_phrase = "photographer"
batch = tokenizer(example_english_phrase, return_tensors="pt")
generated_ids = model.generate(batch["input_ids"], max_new_tokens=150)
output = tokenizer.batch_decode(generated_ids, skip_special_tokens=True)

训练过程

训练超参数

训练过程中使用了以下超参数:

  • 优化器: {'name': 'AdamWeightDecay', 'learning_rate': 2e-05, 'decay': 0.0, 'beta_1': 0.9, 'beta_2': 0.999, 'epsilon': 1e-07, 'amsgrad': False, 'weight_decay_rate': 0.01}
  • 训练精度: float32

训练结果

Train Loss Validation Loss Epoch
8.4973 6.3592 0
5.3145 3.2640 1
3.5899 2.8350 2
3.1044 2.6154 3
2.8329 2.5015 4

框架版本

  • Transformers 4.26.0
  • TensorFlow 2.9.2
  • Datasets 2.8.0
  • Tokenizers 0.13.2