Snowflake发布具有4800亿参数的开源企业级LLM——Arctic

2024年04月25日 由 samoyed 发表 42 0

在开源了文本嵌入模型Arctic系列之后,Snowflake现在又为企业用例增加了一个新的LLM。Snowflake Arctic为开放性和企业级性能设定了新的标准。


Snowflakes


Arctic采用独特的Mixture-of-Experts(MoE)架构进行设计,为复杂的企业工作负载提供顶级优化,在SQL代码生成、指令遵循等多个方面超越了多个行业基准。


Arctic独特的MoE设计通过精心设计的、针对企业需求定制的数据组成,增强了训练系统和模型性能。凭借效率上的突破,Arctic一次只激活4800亿参数中的17个,实现了行业领先的质量和前所未有的token效率。


“尽管计算预算减少到原来的十六分之一,但Arctic在语言理解和推理方面与Llama3 70B旗鼓相当,而在企业指标方面则更胜一筹,”Snowflake的人工智能负责人Baris Gultekin说。


与其他模型相比,Arctic在推理或训练期间激活的参数比DBRX少约50%,比Grok-1少80%。此外,它在编码(HumanEval+、MBPP+)和SQL生成(Spider和Bird-SQL)方面优于领先的开源模型,如DBRX、Llama 2 70B、Mixtral-8x7B等,同时在一般语言理解(MMLU)方面也表现出色。


“对于Snowflake来说,这是一个具有里程碑意义的时刻,我们的AI研究团队正站在AI前沿进行创新,”Snowflake首席执行官Sridhar Ramaswamy说。“我们以真正开放的方式为AI社区提供行业领先的智能和效率,从而进一步推动开源AI能够实现的边界。我们对Arctic的研究将显著增强我们为客户提供可靠、高效AI的能力。”


最佳开源模型?


最棒的是,Snowflake在Apache 2.0许可下发布了Arctic的权重,以及训练背后的研究细节,为企业AI技术建立了一个新的开放水平。“凭借Apache 2许可的Snowflake Arctic嵌入模型系列,组织现在拥有了一个比Cohere、OpenAI或Google等黑盒API提供商更开放的替代方案,”Snowflake表示。


“开源AI模型的不断发展和健康竞争不仅对Perplexity的成功至关重要,而且对未来为所有人普及生成式AI也至关重要,”Perplexity联合创始人兼首席执行官Aravind Srinivas表示。“我们期待对Snowflake Arctic进行实验,以将其定制为我们的产品,最终为我们的最终用户创造更大的价值。”


作为Snowflake Arctic模型系列的一部分,Arctic是目前最开放的LLM,允许在Apache 2.0许可下进行无限制的个人、研究和商业使用。Snowflake更进一步,提供了代码模板,以及灵活的推理和训练选项,使用户能够使用他们首选的框架(包括NVIDIA NIM与NVIDIA TensorRT-LLM、vLLM和Hugging Face)快速部署和定制Arctic。


AI21 Labs的联合创始人兼联合首席执行官Yoav Shoham表示:“我们很高兴看到Snowflake帮助企业利用开源模型的力量,就像我们最近发布的Jamba一样——这是第一个基于Mamba的生产级Transformer-SSM模型。”


为立即使用,Arctic现已在Snowflake Cortex中以无服务器推理的方式提供,Snowflake Cortex是Snowflake提供的全托管服务,在数据云中提供机器学习和AI解决方案,与其他模型库和目录(如Hugging Face、Lamini、Microsoft Azure、NVIDIA API目录、Perplexity、Together等)并肩齐驱。

文章来源:https://analyticsindiamag.com/snowflake-releases-open-enterprise-llm-arctic-with-480-billion-parameters/
欢迎关注ATYUN官方公众号
商务合作及内容投稿请联系邮箱:bd@atyun.com
评论 登录
热门职位
Maluuba
20000~40000/月
Cisco
25000~30000/月 深圳市
PilotAILabs
30000~60000/年 深圳市
写评论取消
回复取消