
十月先上线的是可调用的服务,现在可以拿到的是模型文件。截至11月5日清晨,月之暗面在官方模型仓库已列出Kimi K3.1 Pro的可下载权重分片,vLLM也给出了针对这款模型的部署参考。对准备把模型接进自家基础设施的团队来说,这次变化的意义是多了一个部署选项;但不能拿仓库里那行1.56TB直接去配显卡。
快速看点:权重文件和在线API是两种交付;文件体积不等于运行显存;商业使用须读模型专用许可,而不能套用其他开源模型的条款。
十月的服务上线解决的是入口问题:开发者把请求发给托管服务,不需要保存权重,也不必维护推理进程。如今仓库文件树可看到采用分片编号的Safetensors权重,模型卡、运行参考和许可可以分别检查。团队可以评估在自己的环境里运行模型,而不只是在应用层切换一个API地址。
文件列表的分片命名采用共96片的编号方式,页面显示仓库约1.56TB。这是公开文件树里的规模信息,并非本站逐片下载、计算校验和后的结果,也不能凭仓库初始提交时间断定每个分片何时对外可见。拿到文件还只是起点:固定版本、校验分片、盘点缓存位置和复制耗时,是进入部署前的另一项工作。
vLLM的部署参考把路由专家的低精度权重与采用BF16的共享、注意力及视觉组件分开说明。不能把“部分权重采用四位格式”简化成整套模型都按四位存放,更不能用一个统一倍率把参数量换成运行显存。部署时,模型分布、推理引擎及其临时缓冲区都会改变设备上的实际占用。
参考配置列出了使用两组GB300计算托盘或一台B300节点、采用八路张量并行的方案。它们是可供起步的配置,不是经过逐档排除得出的最低门槛。存储还得容纳下载缓存或版本切换时并存的文件;在不同节点放置权重时,应把同步、网络和故障恢复也算进部署计划。
长上下文尤其容易让估算失真。短问答能启动,并不意味着多路长文与图像请求同时进入时仍能稳定响应;上下文越长、并发越高,服务需要保留的中间状态往往也越多。首次测试可以逐档拉长输入,再增加并发,分别记录显存余量、首字延迟、失败率和排队情况,不把模型卡上限当作本地服务承诺。
采购前可把应用请求按短交互、长文分析、带图任务分组,给每组单独设预算。若长请求占比不高,也可以测试将它们与普通请求分开排队。这样即便某种负载需要不同的并行配置,团队也不会用最长任务的成本去代表所有调用,或用短请求的测速结果替长任务作承诺。
模型使用单独的许可,而不是沿用通用Apache或MIT许可。团队需要把用途写清楚:是内部员工使用、向外部客户托管通用模型,还是把模型嵌进某个具体功能。条款对达到一定营收门槛的模型即服务运营者设有另行签约要求,也对达到一定用户或月收入规模的产品设有名称展示要求,两项条件不能混为一谈。
纯内部使用、通过官方或认证入口访问,有针对指定条款的例外;把能力对外提供后,不能沿用内部试验的判断。若计划把模型接入销售或客服产品,宜先核对服务的实际交付形式和关联方口径,并在部署工单里留下适用许可版本。这里没有下载完整权重,也没有运行模型或测吞吐,不能给出自托管一定更省的结论。
换到本地以后,接口名字相似也不意味着行为完全一样。此前依赖工具调用的业务,应拿同一批样例检查工具参数、超时重试和错误返回,尤其要区分模型建议发起操作与应用实际执行。升级权重或推理框架时,保存旧版本的路由和验收集,也比只留一张性能截图更方便回退。
如果团队只是验证业务需求,可以先沿用托管服务完成样例和评价指标,再带着相同的输入分布测本地方案。比较时把软硬件运维、流量峰谷、模型更新与故障值守一起计入,而不是仅用一次按量API报价对比一台设备的采购价。
这次值得关注的是交付从一个在线入口扩展到了可核对的模型文件。真正要做选型,建议把三道检查分开:先确认许可覆盖计划中的用途,再盘点权重和节点容量,最后用真实请求分布验证负载与恢复。能启动、能在高峰稳定工作、能按预期方式对外使用,是三个不同的验收结论。
