9750亿参数却要600GB显存:Inkling开放权重

2026年07月18日 由 ATYUN编辑部 发表 4267 0
Inkling近万亿参数多模态模型概念图
Inkling把近万亿参数、长上下文与原生多模态能力放进同一模型

当一个开放权重模型逼近万亿参数,真正值得关注的已不只是“能不能下载”,而是有多少团队真正具备运行和改造它的条件。Thinking Machines推出的Inkling给出了一组极具反差的数据:总参数9750亿、支持100万token上下文,并能同时理解文本、图像和音频;但即便采用NVFP4量化,完整部署仍需要约600GB显存。开放的大门已经推开,门槛却依然高得惊人。

三点速览
  • Inkling采用66层稀疏MoE架构,总参数9750亿,但每个token只激活约410亿参数。
  • 模型原生接收文本、图像和音频,支持100万token上下文,并以Apache 2.0许可开放权重。
  • 官方基准成绩覆盖推理、编码、视觉和音频,但数据由发布方自报;BF16版本约需2TB显存,量化版仍约需600GB。

近万亿参数为什么值得注意

过去两年的开放模型竞争,核心问题一直是如何在能力、部署成本与可修改性之间寻找平衡。Inkling把这一竞争推到新的规模:它并非只为聊天设计,而是面向智能体、工具调用、编码助手、检索增强和多模态应用。开发者可以取得权重,进行研究、微调或集成,而不是只能通过封闭接口调用。

100万token上下文也强化了这种定位。理论上,模型可以一次接收大型代码库、成套报告或很长的会话记录,减少人工切分材料的工作。不过,“能够放入上下文”不等于“能够始终准确使用”。模型卡同时承认,长时间多轮交流仍可能出现性能下降,超长输入的有效利用仍需具体任务验证。

410亿激活参数如何处理三种模态

Inkling的主体是一个66层、仅解码器架构的稀疏混合专家模型。系统共有256个路由专家,每个token会选择其中6个,同时再启用2个共享专家。这样一来,模型可以拥有9750亿参数所容纳的知识容量,却不必在每次生成时调用全部权重,单次激活规模约为410亿参数。

这并不意味着它等同于一款410亿参数的小模型。未被激活的专家权重仍要存放在显存或高速存储中,跨设备路由也带来通信压力。MoE降低的是单次计算量,而非让整体模型凭空变小,因此它更适合多GPU、多节点环境,不能简单套用普通消费级显卡的部署经验。

在注意力结构上,模型交替使用局部滑动窗口与全局注意力,并以大约5比1的比例安排局部层和全局层,以控制长上下文计算成本。视觉输入通过分层图像块模块编码,音频则按约100毫秒片段转为离散梅尔频谱表示。不同模态最终进入同一解码器,而不是各自完成推理后再拼接答案。

模型还提供多档推理强度,并加入多token预测层,用于在推理阶段提前起草多个token,提高生成速度。对开发者而言,这意味着同一模型可以在响应速度与思考深度之间调节。不过,更高推理强度通常意味着更长输出和更高成本,实际产品仍需按任务寻找合适档位。

官方成绩很亮眼,部署账单更醒目

97.1%
AIME 2026
77.6%
SWE-bench Verified
73.3%
MMMU Pro
91.4%
VoiceBench

从发布方给出的结果看,Inkling在数学推理、编码、视觉和音频任务上表现均衡:AIME 2026为97.1%,GPQA Diamond为87.2%,SWE-bench Verified为77.6%,MMMU Pro为73.3%,VoiceBench为91.4%。这些数字说明它不是只靠规模制造话题,而是试图覆盖通用智能体所需的多项能力。

但这些成绩必须放回测试条件中理解。模型卡说明结果是在高推理强度下生成,对比模型还可能使用不同推理档位、工具和智能体框架。所有数据均为发布方自报,并非统一环境下的独立第三方复测,因此不能仅凭一张表得出Inkling全面领先或落后的结论。

比排行榜更现实的是部署账单。BF16检查点约需2TB显存,NVFP4版本仍约需600GB显存,通常需要多张数据中心GPU甚至多节点集群。Transformers、SGLang与vLLM已提供支持,确实降低了软件接入成本,但硬件、网络、KV缓存和运维费用依旧把大量个人开发者挡在门外。

开放权重之后,真正竞争的是可用性

Inkling的意义在于,开放权重阵营开始同时追求近万亿参数、超长上下文和原生多模态,而不再只依靠较小文本模型争夺开发者。它可以作为领域微调的底座,也适合研究文档理解、音频推理与工具型智能体,但这些机会首先属于拥有集群资源和模型工程能力的团队。

局限同样明确。Inkling只生成文本,视频虽然参与训练且架构保留相关处理能力,但发布方没有把开箱即用的视频表现作为正式结论。模型仍可能产生幻觉、漏掉指令,在长对话中退化,并在不同语言和专业领域表现不均。医疗、法律或安全关键任务不能绕过人工复核。

ATYUN观察:Inkling最值得记住的不是“9750亿”这个数字,而是开放模型的竞争已从能否追上闭源能力,转向谁能把巨大模型变成可复现、可微调、可负担的生产工具。下一阶段的胜负手可能不再是继续堆参数,而是量化、推理引擎、托管服务和真实场景评测。开放权重只是起点,真正的普及要等到更多团队能够以合理成本验证并使用它。

欢迎关注ATYUN官方公众号
商务合作及内容投稿请联系邮箱:bd@atyun.com
评论 登录
热门职位
Maluuba
20000~40000/月
Cisco
25000~30000/月 深圳市
PilotAILabs
30000~60000/年 深圳市
写评论取消
回复取消