WangChanGLM 🐘-多语言指令跟随模型的模型卡

WangChanGLM是一个多语言指令细调的Facebook XGLM-7.5B模型，使用开源、商业可许可的数据集（包括LAION OIG chip2和infill_dbpedia，DataBricks Dolly v2，OpenAI TL;DR和Hello-SimpleAI HC3；约400,000个示例），采用CC-BY SA 4.0许可发布。这些模型被训练用于执行我们发现最相关的一些指令跟随任务，包括阅读理解、头脑风暴和创意写作。我们提供了一个在仅英语数据集上进行细调的模型权重（ wangchanglm-7.5B-sft-en ），以及一个在谷歌翻译的泰语数据集上进一步细调的检查点（ wangchanglm-7.5B-sft-enth ）。我们使用人类和ChatGPT（在我们的情况下，使用gpt-3.5-turbo，因为我们还在gpt-4的等待列表上）进行了Vicuna样式的评估，并观察到这两种类型的注释者之间存在一些差异。所有的训练和评估代码都在我们的Github的 Apache-2.0 license 下共享，以及 HuggingFace 上的数据集和模型权重。与 Dolly v2 类似，我们只使用开源的、商业可许可的预训练模型和数据集，我们的模型既不受商业限制，也不受使用LLaMA作为基础的模型的非商业条款限制，也不受使用ChatGPT的自我指导数据集的模型的非竞争条款限制。查看我们的在线演示 here 。

• 开发者： PyThaiNLP 和 VISTEC-depa AI Research Institute of Thailand
• 模型类型：细调 XGLM-7.5B
• 语言（NLP）：英文，泰文，日文，越南文，理论上支持 XGLM-7.5B 的所有30种语言的能力
• 许可： CC-BY SA 4.0

模型来源

• 代码库： pythainlp/wangchanglm
• 博客： Medium
• 演示： Colab notebook

用途

直接使用

旨在用作阅读理解、头脑风暴和创意写作的指令跟随模型。

下游使用

该模型可以用于任何典型的指令跟随用例的细调。

超出范围的使用

我们不希望模型在数学问题、推理和事实性方面表现良好。我们故意过滤了这些用例的训练示例。

偏见、风险和局限性

我们注意到与其他细调的指令跟随模型的类似局限性，如数学问题、推理和事实性。尽管模型的表现不符合我们预期的被滥用的程度，但它们确实包含不良偏见和有害内容，并且应该根据您的特定用例进一步优化。

建议

用户（直接和下游）应该意识到模型的风险、偏见和局限性。需要更多信息以进行进一步的建议。

如何开始使用该模型

使用下面的代码来开始使用该模型。

model_name = "pythainlp/wangchanglm-7.5B-sft-en"
model = AutoModelForCausalLM.from_pretrained(
    model_name, 
    return_dict=True, 
    load_in_8bit=True ,
    device_map="auto", 
    torch_dtype=torch.float16, 
    offload_folder="./", 
    low_cpu_mem_usage=True,
)
text = "เล่นหุ้นยังไงให้รวย"
tokenizer = AutoTokenizer.from_pretrained(model_name)
batch = tokenizer(text, return_tensors="pt")
with torch.cuda.amp.autocast(): 
  output_tokens = model.generate(
      input_ids=batch["input_ids"],
      max_new_tokens=max_gen_len, # 512
      begin_suppress_tokens = exclude_ids,
      no_repeat_ngram_size=2,
      
      #oasst k50
      top_k=50,
      top_p=top_p, # 0.95
      typical_p=1.,
      temperature=temperature, # 0.9
      
      # #oasst typical3
      # typical_p = 0.3,
      # temperature = 0.8,
      # repetition_penalty = 1.2,
  )
tokenizer.decode(output_tokens[0], skip_special_tokens=True)

训练详细信息

训练数据

微调数据集来自 LAION OIG chip2 and infill_dbpedia （ Apache-2.0 ）、 DataBricks Dolly v2 （ Apache-2.0 ）、 OpenAI TL;DR （ MIT ）和 Hello-SimpleAI HC3 （ CC-BY SA ）。

训练过程

参见 pythainlp/wangchanglm 。

• 训练方案：4个GPU的LoRA。更多细节请参见 pythainlp/wangchanglm 。

评估

我们进行了 Vicuna 风格的自动评估和人工评估。请从我们的 blog 中了解更多详细信息。

环境影响

实验使用私有基础设施进行，其碳效率为0.432 kgCO2eq/kWh。使用了类型为Tesla V100-SXM2-32GB的硬件进行了累计500小时的计算（TDP为300W）。总排放量估计为64.8 CO2eq，其中0%直接抵消。估计是使用了 MachineLearning Impact calculator 进行的。

引用

BibTeX:

@software{charin_polpanumas_2023_7878101,
  author       = {Charin Polpanumas and
                  Wannaphong Phatthiyaphaibun and
                  Patomporn Payoungkhamdee and
                  Peerat Limkonchotiwat and
                  Lalita Lowphansirikul and
                  Can Udomcharoenchaikit and
                  Titipat Achakulwisut and
                  Ekapol Chuangsuwanich and
                  Sarana Nutanong},
  title        = {{WangChanGLM🐘 — The Multilingual Instruction- 
                   Following Model}},
  month        = apr,
  year         = 2023,
  publisher    = {Zenodo},
  version      = {v0.1},
  doi          = {10.5281/zenodo.7878101},
  url          = {https://doi.org/10.5281/zenodo.7878101}
}

模型卡联系方式

PyThaiNLP