flan-t5-large-finetuned-openai-summarize_from_feedback

这个模型是在summarize_from_feedback数据集上fine-tuned版本的 google/flan-t5-large 模型。它在评估集上取得了以下结果：

• 损失：2.3118
• Rouge1：30.2401
• Rouge2：11.4916
• Rougel：24.6485
• Rougelsum：26.1801
• Gen Len：18.8428

模型描述

需要更多信息

拟用途与限制

需要更多信息

训练和评估数据

需要更多信息

训练过程

训练超参数

训练时使用了以下超参数：

• 学习率：5e-05
• 训练批次大小：16
• 评估批次大小：32
• 种子：42
• 优化器：带有betas=(0.9,0.999)和epsilon=1e-08的Adam
• lr_scheduler类型：线性
• 训练轮数：6

训练结果

见 Tensorboard

引用

@misc {manuel_romero_2023,
    author       = { {Manuel Romero} },
    title        = { flan-t5-large-finetuned-openai-summarize_from_feedback (Revision 51666f9) },
    year         = 2023,
    url          = { https://huggingface.co/mrm8488/flan-t5-large-finetuned-openai-summarize_from_feedback },
    doi          = { 10.57967/hf/0266 },
    publisher    = { Hugging Face }
}

框架版本

• Transformers 4.25.1
• Pytorch 1.13.0+cu116
• Datasets 2.8.0
• Tokenizers 0.13.2