每步激活24.5亿参数,Liquid开放240亿推理模型

2026年10月14日 由 ATYUN编辑部 发表 793 0
紧凑端侧计算设备内部的计算板、内存与散热结构示意
通用端侧推理设备示意图,非Liquid AI实际硬件产品。

总参数240亿,每个token激活24.5亿,这两个数字看起来相差近十倍,却回答着不同问题:前者关系到权重怎样装进设备,后者关系到一步计算要动用多少模型。10月13日,Liquid AI开放LFM2.5-24B-A2B,面向本地工具调用和多步智能体任务。这是一款带显式思考过程的文本模型,不是可以不看内存、随便塞进任意终端的“小模型”。

快速看点:基础与后训练权重开放,最大上下文131072个token;模型保留稀疏专家结构,明确主打推理与工具调用;本地部署有运行库版本要求,权重许可证也有企业商用门槛,不能把开放权重理解为无条件免费。

计算只选少数专家,权重仍然要装得下

模型采用混合架构,共40层,其中30层是门控短卷积模块、10层使用分组查询注意力。每个专家模块有64个专家,每一步选取4个参与计算。模型卡给出的总参数为24.0B,激活参数为2.45B;产品名中的A2B是定位标记,不应拿来替代精确参数统计。

稀疏计算的吸引力,在于不用让所有专家每一步都工作。但没有被当前token选中的专家,后续仍可能被调用,不能据此只为24.5亿参数准备内存。若把240亿参数全部按每参数2字节粗算,BF16权重约需48GB,这还没算缓存和其他运行开销;这是容量估算,不是设备实测。

与此前LFM2-24B-A2B相比,新模型将上下文从32768扩到131072个token,并把词表扩至128K。长文档和较长的智能体轨迹因此有了更大的输入空间,不过上下文上限并不等于在任意长度都能稳定完成任务,缓存、输入处理和长期信息保持仍要测试。

先思考再回答,目标是工具链而非聊天榜

LFM2.5-24B-A2B被定义为推理型模型,每次回答前有显式思考过程。开发者应根据聊天模板处理思考段和最终答案,不能直接把整个返回文本当成严格业务字段。这种训练选择也意味着,较少的激活计算并不能自动保证每个请求更短,生成的思考长度同样影响等待时间。

后训练不仅关注普通问答,还把模型放进智能体运行框架,训练多步决策与工具使用。这里的“智能体能力”需要一个外部执行环境:模型提出调用,工具真正访问文件、检索信息或执行操作,运行框架再把结果交回模型。开放权重不等于这些业务连接器和权限策略全部配齐。

模型卡与配套材料报告了多类工具和智能体评测,与Qwen3.6-35B-A3B比较时,不同任务各有优劣。这些结果不是企业流程完成率,更不能推出所有编码、网页操作和自动化任务都更强。针对本地部署的吞吐宣传,也要区分单用户响应与服务端高并发吞吐,不能互换。

可以本地运行,仍需检查版本和商用许可

官方提供原生权重及面向不同运行环境的格式工件,开发者可按推理或微调需求选择。文档明确Transformers兼容版本为5.0.0及以上;Apple设备采用MLX时,需要mlx-lm 0.32.0或更新版本,较早版本会错误路由专家。格式文件能下载,不代表旧运行库就能正确执行。

部署时应先固定权重与运行库版本,再检查聊天模板、思考段分离、工具参数是否合法,以及量化后关键业务判断是否变化。不要把“模型能加载、能输出一句话”当成完整兼容验收。对于要反复执行工具的流程,一次格式错误就可能在多轮中累积成错误操作。

权重使用LFM Open License,不是标准Apache许可直接覆盖全部商用。条款涉及年营收1000万美元门槛,超过适用范围的商业使用需要另行取得许可。企业应按自身主体和用途核对条件,微调后模型的使用也不能跳过这一环节;许可证核查应放在试点开始前。

本地推理可以减少对远程语言模型API的依赖,却不等于数据永不出设备。联网搜索、外部工具、日志导出和连接器仍可能发送信息。实施团队要把推理路径和工具路径分别画清楚,再决定哪些任务能离线完成、哪些操作需要联网和人工批准。

小编判断:端侧Agent要算整条任务链

这款模型值得关注的,是把稀疏计算、长上下文和工具训练放在同一条端侧部署路径上。它给开发者一个可自己检查和适配的选择,但总参数、激活参数、量化格式与最终任务表现,不能用一个“快”字打包。

真正有价值的比较,应固定设备、任务和工具权限,记录任务完成率、人工接管次数、首个有效动作时间与总资源占用,再观察连续运行是否稳定。只有端侧整个流程比现有方案更可靠、更容易控制,低激活参数才会转化为实际交付优势。

文章来源:AI Agent
欢迎关注ATYUN官方公众号
商务合作及内容投稿请联系邮箱:bd@atyun.com
评论 登录
热门职位
Maluuba
20000~40000/月
Cisco
25000~30000/月 深圳市
PilotAILabs
30000~60000/年 深圳市
写评论取消
回复取消