您尚未登录账户
您的企业账号申请正在审核中
APUS携手新旦智能开源国内首个千亿级MoE架构大模型
4月2日，APUS携手战略合作伙伴新旦智能，共同研发并开源了千亿级MoE（Mixture of Experts）架构大模型——APUS-xDAN 大模型4.0（MoE），标志着我国在人工智能领域取得了新的突破。这一成果在GitHub上正式亮相，为行业带来了普惠与提质的双重红利。
新旦智能虽是一家年轻的公司，但其创始团队却堪称豪华，汇聚了清华、伯克利、腾讯、Meta等顶尖学术与工程界的精英。这支队伍不仅拥有全球知名的开源AI社区开发者，还有资深腾讯云架构师等重量级成员。值得一提的是，新旦智能在今年3月初就成功完成了千万级别的天使轮融资，由APUS与AI行业资深投资人周弘扬联合投资，这无疑为公司的未来发展注入了强大的动力。
APUS-xDAN 大模型4.0（MoE）的出色表现更是令人瞩目。该模型在4090等低端算力芯片上，综合性能达到了GPT-4的90%，这一成绩不仅为中国企业应用大模型技术提供了更大的价值，也成功破解了“算力卡脖子”的难题。在当前美国对中国半导体出口管制不断加码的背景下，这一成果无疑为中国AI产业在模型应用上实现普惠开辟了新的道路。
在算法层面，APUS-xDAN 大模型4.0（MoE）的突破同样显著。它采用了GPT4类似的MoE架构，实现了多专家模型组合，同时在运行效率上相比传统Dense同尺寸模型提升了200%，推理成本下降了400%。通过进一步的高精度微调量化技术，模型尺寸缩小了500%，成为国内首个可以在消费级显卡运行的千亿MoE中英文大模型。
经过实际测试，APUS-xDAN 大模型4.0（MoE）的数学能力GSM8K达到了79分，理解能力的MMLU达到了73分，推理能力的BBH达到了66分，综合性能超过GPT3.5，逼近GPT4，在数学能力上更是超过了马斯克开源的Grok。这一成绩不仅彰显了我国在超大规模预训练模型研发领域的实力，也为人工智能的边界拓展注入了新的动力。
总的来说，APUS与新旦智能联合开源的APUS-xDAN 大模型4.0（MoE）在算法优化和算力普惠方面取得了重大突破，为中国AI产业的发展注入了新的活力。这一成果不仅展现了我国人工智能科研实力与技术创新力的国际地位，也为全球人工智能领域的发展贡献了中国智慧和中国方案。
