Red Hat和IBM一起改变开源AI开发

2024年05月09日 由 samoyed 发表 42 0

Red Hat发布了Red Hat Enterprise Linux AI(RHEL AI),这是一个用于简化企业生成式AI模型的开发、测试和部署的平台。RHEL AI结合了IBM Research的开源Granite语言模型与InstructLab,这是一套基于LAB(面向聊天机器人的大规模对齐)方法论的模型对齐工具。这种组合简化了调整AI模型以满足特定业务需求的复杂过程。


RHEL-AI


IBM表示,“开源AI已经破碎”。他们说得没错。虽然软件中的开源促进了协作改进、持续精炼和集体所有权,但这种情况在AI中并没有有效发生。当新的开源模型发布时,会出现成千上万的分支,但它们很少会合并回基本模型,从而阻碍了有意义的社区改进。


例如。大约三周前发布了Llama 3,现在Hugging Face上已经有6000多个Llama 3模型。每个分支模型都以不同的方式进行了改进,但原始的Llama 3模型保持不变,并没有从社区的贡献中受益。


InstructLab通过使贡献者能够向模型添加特定技能或知识来解决这个问题。其模型无关的技术允许上游创建者通过集成新技能而不是完全重新训练模型来定期更新他们的开源模型,从而促进高效和协作的开发。这种方法利用全球贡献者的集体努力,利用他们多样化的专业知识和观点来增强模型。


InstructLab所使用的LAB技术通过分类学指导的合成数据生成和多阶段调整框架来对齐模型。这通过减少对昂贵的人类注释和专有模型的依赖,使AI模型开发更加容易接近。通过指定与分类学相关联的技能和知识,从这些信息中大规模生成合成数据,并使用生成的数据进行模型训练,InstructLab可以显著提高模型性能。


RHEL AI将InstructLab的功能与IBM Research的开源Granite语言模型相结合,全部打包成一个优化的、可启动的RHEL映像,可以部署在混合云环境中。它也被包含在Red Hat的混合机器学习操作平台OpenShift AI中,允许AI工作负载在数据所在的位置运行,无论是在数据中心、公共云还是边缘。


RHEL AI现在作为开发者预览版提供。IBM Cloud将增加对RHEL AI和OpenShift AI的支持,使企业能够更轻松地将生成式AI部署到关键任务应用中。包括AMD、Cisco、Dell、HPE、Intel、Lenovo和NVIDIA等行业领导者已表示支持Red Hat通过RHEL AI推动企业AI采用率的努力。

文章来源:https://www.maginative.com/article/red-hat-and-ibm-want-to-change-open-source-ai-development/
欢迎关注ATYUN官方公众号
商务合作及内容投稿请联系邮箱:bd@atyun.com
评论 登录
热门职位
Maluuba
20000~40000/月
Cisco
25000~30000/月 深圳市
PilotAILabs
30000~60000/年 深圳市
写评论取消
回复取消