同一组层跑两遍,商汤Loop-9B扩展计算深度

2026年11月02日 由 ATYUN编辑部 发表 220 0
中央共享24层解码块沿回转路径执行两遍,前后各四层,说明32组层权重对应56次层计算
原创架构示意图,非芯片或产品实拍;层数指解码器执行结构,不代表性能倍数。

模型想得更深,一定要把权重也堆得更大吗?商汤SenseNova团队公开的Loop-9B-Preview,把一段解码网络重复使用:保存32组解码层权重,一次前向却执行56次层计算。它尝试把参数存储与计算深度分开,为多模态、长上下文和工具任务提供另一种设计路径;但少存权重,并不等于推理时间、缓存或部署费用也自动减少。

快速看点:官方发布记录标为10月30日,当前仍是Preview;输入文本与图像、输出文本,不是图像生成模型;SGLang和vLLM的专项适配仍处于未合入PR,不能把模型页自动生成的通用启动提示当成稳定版兼容承诺。

24层复用两遍,深度不是凭空增加

Loop采用固定的循环解码路径:先经过第0至3层,再让第4至27层组成的24层块执行两次,最后经过第28至31层。算下来是4+24×2+4=56次层计算,而重复部分使用同一组权重,并没有再复制24套参数。第二遍接收第一遍的结果,不是把同一输入原样重算后取平均。

这也不是模型遇到难题后,自由决定多想多少轮。这里公开的结构是预先配置好的重复区间和遍数,兼容实现需要按相同顺序执行。模型名称中的9B不能直接换算成现场显存需求,更不能把56次层计算理解成56层独立参数模型,或据此推出能力相等。

对部署者而言,权重存储和运行开销是两张账。共享参数改变了需要保存什么,却没有取消第二遍计算,也没有取消中间激活与状态。实际吞吐、首字延迟、并发容量和长序列缓存,仍取决于实现、硬件、任务及服务配置,不能只看模型名字作预算。

双流连接与混合注意力,处理的是不同问题

重复使用网络,还要处理信息怎样在多次计算中传递。Loop在循环区间采用双流mHC,也就是让两条残差信息流围绕解码层传递,由学习到的映射决定读取、混合和写回。它不是在两套专家模型间二选一,也不表示每个任务都能获得两份独立答案。

注意力部分则按四层一组组织,三个线性注意力层后接一个全注意力层,循环边界与完整分组对齐。两者分工不同:共享循环增加执行路径深度,mHC管理信息传递,混合注意力安排序列处理。把它们统称为“新算法所以更快”,反而会掩盖各自的计算条件。

官方说明列出最长262144个token的训练序列,配方涉及文本、图像、代码及工具轨迹。这是训练长度口径,不是已经证明所有任务在相同长度下都准确,也不是任意推理服务开箱即用的上下文保证。做文档理解或工具任务时,还要分别回放长文定位、视觉信息和多步交互。

权重公开,不等于所有运行时都已稳定接入

当前已能检查官方模型卡、权重文件目录与部署说明,仓库标注Apache 2.0许可。官方给出的Transformers检查环境是5.18.0,配合PyTorch 2.11.0与CUDA 13.0,示例会加载自定义模型代码。这里是文档列出的环境,本站未安装或运行,也不把它当成任意设备的最低配置。

更值得留意的是服务端适配状态。官方说明要求使用SGLang的47281号PR和vLLM的64832号PR;本轮核查两者仍为open、未合入。后者明确限制在未量化的文本推理,不应因整个模型支持图像,就推断该分支已支持全部多模态服务。加载权重成功也不等于输出完全一致。

PR描述中的测试属于提交者自述:SGLang仍缺任务级精度和端到端速度基准;vLLM有小规模验证及尚未通过准入的上游CI状态。本文不把这些材料升级成本站实测,不采用其中正确率或测试通过数,也没有下载权重、执行远程代码或启动服务。

加速路线同样需要拆开看。文档把MTP列为可用,而Dspark与Dflash2仍在训练推进中,不能一并写成已交付。公开演示和榜单图片能提供观察入口,却不足以证明企业工作流的稳定性、成本或收益;完整技术报告及更广泛的可复现实验仍值得继续跟踪。

小编判断

Loop-9B的价值,是把“更多参数”之外的计算组织方式摆到台前。对企业团队,合理的下一步不是按层数猜收益,而是锁定模型与运行时版本,用自己的短长文、多模态和工具样本检查正确性,再量首字延迟、持续吞吐、缓存与峰值显存。架构上节省了哪部分,业务里又多付了什么,只有把这两张账对齐,才谈得上选择。

文章来源:AI Agent
欢迎关注ATYUN官方公众号
商务合作及内容投稿请联系邮箱:bd@atyun.com
评论 登录
热门职位
Maluuba
20000~40000/月
Cisco
25000~30000/月 深圳市
PilotAILabs
30000~60000/年 深圳市
写评论取消
回复取消