数据集:

lvwerra/stack-exchange-paired

英文

StackExchange配对数据集

这是对 HuggingFaceH4/stack-exchange-preferences 进行处理的版本。以下是所应用的步骤:

  • 使用markdownify将HTML解析为Markdown
  • 创建(response_j, response_k)的配对,其中j被评为比k好
  • 每个问题最多采样10对配对
  • 全局洗牌数据集

此数据集旨在用于偏好学习。处理笔记本也在 the repository 中。