Chat & support: my new Discord server

Want to contribute? TheBloke's Patreon page

Eric Hartford的WizardLM 13B V1.0未经审查的fp16

这是合并了 Eric Hartford's WizardLM 13B V1.0 Uncensored 和 Kaio Ken's SuperHOT 8K 的fp16 pytorch格式模型文件。

Kaio Ken's SuperHOT 13B LoRA 合并到基本模型上，使用trust_remote_code=True在推理过程中可以达到8K的上下文。

请注意config.json已设置为长度为8192的序列。如果想尝试较小的序列长度，可以将其修改为4096。

可用的存储库

• 4-bit GPTQ models for GPU inference
• Unquantised SuperHOT fp16 model in pytorch format, for GPU inference and for further conversions
• Unquantised base fp16 model in pytorch format, for GPU inference and for further conversions

Discord

要获取进一步的支持，并讨论这些模型和人工智能的相关话题，请加入我们：

TheBloke AI's Discord server

感谢和如何贡献

感谢 chirper.ai 团队！

有很多人问是否可以贡献。我喜欢提供模型并帮助人们，非常乐意花更多时间做这些事情，还有扩展到新的项目，如微调/训练。

如果您能够并愿意贡献，我将非常感谢，并将帮助我继续提供更多的模型，并开始新的AI项目。

捐赠者将优先获得有关任何AI/LLM/模型问题和请求的支持，可以访问私人Discord房间，以及其他福利。

• Patreon: https://patreon.com/TheBlokeAI
• Ko-Fi: https://ko-fi.com/TheBlokeAI

特别感谢：Luke from CarbonQuill，Aemon Algiz，Dmitriy Samsonov。

Patreon特别提到：Pyrater，WelcomeToTheClub，Kalila，Mano Prime，Trenton Dambrowitz，Spiking Neurons AB，Pierre Kircher，Fen Risland，Kevin Schuppel，Luke，Rainer Wilmers，vamX，Gabriel Puliatti，Alex，Karl Bernard，Ajan Kanaga，Talal Aujan，Space Cruiser，ya boyyy，biorpg，Johann-Peter Hartmann，Asp the Wyvern，Ai Maven，Ghost，Preetika Verma，Nikolai Manek，trip7s trip，John Detwiler，Fred von Graf，Artur Olbinski，subjectnull，John Villwock，Junyu Yang，Rod A，Lone Striker，Chris McCloskey，Iucharbius，Matthew Berman，Illia Dulskyi，Khalefa Al-Ahmad，Imad Khwaja，chris gileta，Willem Michiel，Greatston Gnanesh，Derek Yates，K，Alps Aficionado，Oscar Rangel，David Flickinger，Luke Pendergrass，Deep Realms，Eugene Pentland，Cory Kujawski，terasurfer，Jonathan Leane，senxiiz，Joseph William Delisle，Sean Connelly，webtim，zynix，Nathan LeClaire。

感谢所有慷慨的赞助人和捐赠者！

原始模型卡片：Kaio Ken的SuperHOT 8K

SuperHOT Prototype 2 with 8K Context

这是SuperHOT的第二个原型，这次是30B的，具有8K的上下文而没有RLHF，使用的是 the github blog 中描述的相同技术。测试表明，该模型确实利用了8K的扩展上下文。

您需要使用monkeypatch或，如果您已经使用monkeypatch，请将缩放因子更改为0.25，并将最大序列长度更改为8192

• 30B 4-bit CUDA： tmpupload/superhot-30b-8k-4bit-safetensors
• 30B 4-bit CUDA 128g： tmpupload/superhot-30b-8k-4bit-128g-safetensors

我使用以下配置对LoRA进行了训练：

• 1200个样本（超过2048个序列长度的约400个样本）
  • 学习率为3e-4
  • 3个周期
  • 导出的模块为：
  • q_proj
  • k_proj
  • v_proj
  • o_proj
  • 无偏置
  • 等级=4
  • Alpha=8
  • 无丢失
  • 权重衰减为0.1
  • AdamW beta1为0.9，beta2为0.99，epsilon为1e-5
  • 在4位基本模型上进行训练

原始模型卡片：Eric Hartford的WizardLM 13B V1.0未经审查

这是对 https://huggingface.co/WizardLM/WizardLM-13B-V1.0 的重新训练，使用了经过筛选的数据集，旨在减少拒绝、回避和偏见。

请注意，LLaMA本身具有固有的道德信念，所以没有“真正未经审查”的模型。但是，这个模型比WizardLM/WizardLM-7B-V1.0更加合规。

向开源AI/ML社区和帮助过我的每个人致敬。

注意：未经审查的模型没有防护措施。您对使用模型的任何行为负责，就像您对使用刀具、枪支、打火机或汽车等危险物品的任何行为负责一样。发布由模型生成的任何内容与自己发布它一样。您对您发布的内容负责，您不能归咎于模型，就像您不能将您所做的与刀具、枪支、打火机或汽车的责任归咎于它们一样。

像WizardLM/WizardLM-13B-V1.0一样，该模型是使用Vicuna-1.1风格的提示进行训练的。

You are a helpful AI assistant.

USER: <prompt>
ASSISTANT:

感谢 chirper.ai 赞助了部分计算资源！