Chat & support: my new Discord server

Want to contribute? TheBloke's Patreon page

OpenAssistant LLaMA 30B SFT 7 HF

这是 HF 格式的 OpenAssistant's LLaMA 30B SFT 7 仓库的结果。

这是将上述仓库的 XORs 与原始的 Llama 30B 权重合并的结果。

这是 OpenAssistant 使用 Llama 30B 模型进行的第 7 个 epoch 的训练结果。

Discord

欢迎加入我们讨论有关这些模型和 AI 的支持小组：

TheBloke AI's Discord server

感谢以及如何贡献

感谢 chirper.ai 团队！

我收到很多人询问是否可以贡献。我喜欢提供模型和帮助其他人，并且非常乐意能够投入更多时间做这些，同时还希望能扩展到新的项目，如微调/训练。

如果你有能力和意愿贡献，我将非常感激，并且这将帮助我提供更多模型，并开始新的 AI 项目。

捐赠者将在所有有关 AI/LLM/模型的问题和请求上享有优先支持，可以访问私人 Discord 房间，并获得其他福利。

• Patreon： https://patreon.com/TheBlokeAI
• Ko-Fi： https://ko-fi.com/TheBlokeAI

Patreon 特别感谢：Aemon Algiz、Dmitriy Samsonov、Nathan LeClaire、Trenton Dambrowitz、Mano Prime、David Flickinger、vamX、Nikolai Manek、senxiiz、Khalefa Al-Ahmad、Illia Dulskyi、Jonathan Leane、Talal Aujan、V. Lukas、Joseph William Delisle、Pyrater、Oscar Rangel、Lone Striker、Luke Pendergrass、Eugene Pentland、Sebastain Graf、Johann-Peter Hartman。

感谢所有慷慨的赞助者和捐赠者！

原始模型说明卡片

llama-30b-sft-7:
  dtype: fp16
  log_dir: "llama_log_30b"
  learning_rate: 1e-5
  model_name: /home/ubuntu/Open-Assistant/model/model_training/.saved/llama-30b-super-pretrain/checkpoint-3500
  #model_name: OpenAssistant/llama-30b-super-pretrain
  output_dir: llama_model_30b
  deepspeed_config: configs/zero3_config_sft.json
  weight_decay: 0.0
  residual_dropout: 0.0
  max_length: 2048
  use_flash_attention: true
  warmup_steps: 20
  gradient_checkpointing: true
  gradient_accumulation_steps: 12
  per_device_train_batch_size: 2
  per_device_eval_batch_size: 3
  eval_steps: 101
  save_steps: 485
  num_train_epochs: 4
  save_total_limit: 3
  use_custom_sampler: true
  sort_by_length: false
  #save_strategy: steps
  save_strategy: epoch
  datasets:
    - oasst_export:
        lang: "bg,ca,cs,da,de,en,es,fr,hr,hu,it,nl,pl,pt,ro,ru,sl,sr,sv,uk"
        input_file_path: 2023-04-12_oasst_release_ready_synth.jsonl.gz
        val_split: 0.05
    - vicuna:
        val_split: 0.05
        max_val_set: 800
        fraction: 1.0
    - dolly15k:
        val_split: 0.05
        max_val_set: 300
    - grade_school_math_instructions:
        val_split: 0.05
    - code_alpaca:
        val_split: 0.05
        max_val_set: 250

• OASST 数据集论文： https://arxiv.org/abs/2304.07327