
给一组人设预算,并不意味着网关会在超支那一刻切断请求。11月3日,Snowflake宣布Cortex AI Gateway的推理、可观测性和费用管理正式可用。团队可以把接入的模型调用汇到一个入口,再看是谁发起请求、用了哪个模型、消耗了多少。真正需要区分的是:团队预算负责看趋势和触发动作,个人配额才提供平台内置的拦截,两者的生效方式并不相同。
快速看点:正式可用的是推理、追踪和费用管理;入口权限不等于模型权限;团队预算与个人配额都不是实时的全局支出硬上限。
企业在接入多个模型时,常把认证、模型选择和费用统计分散在不同应用里。一旦同一个工作流跨越多个客户端,排查就要先弄清每段流量走哪条路径。Cortex AI Gateway提供一个受Snowflake治理的入口。此次明确转正式的推理接入包含OpenAI的Chat Completions格式和Anthropic的Messages格式,但接口格式兼容不等于所有客户端无需修改。
每个账号自动预置一个名为SNOWFLAKE的网关对象。使用指南写明,网关的USAGE权限默认授予PUBLIC,可按需要撤回,再给指定角色开放。即使用户能访问网关,也仍需具备底层模型要求的权限。接入Anthropic客户端时还要留意认证头:指南示例显式改用Bearer方式,不能把供应商密钥和原地址一起原样搬过去。
上线验证可以从同一个用例的两类身份开始:一类有入口和目标模型权限,另一类只获准进入网关。除了验证第一类能否完成推理,还应确认第二类不会因切换入口而获得额外模型访问。这比只用管理员账号跑通一次,更能说明迁移后的实际授权边界。
调用经过网关后,团队可以查询追踪记录中的模型、步骤耗时、词元用量和错误。客户端还可将自己的OpenTelemetry追踪导入网关。这样做的价值,是把一次失败拆成可定位的步骤,例如究竟是模型返回错误,还是应用反复发起了调用。没有走这条入口、也没有上报记录的路径,不能想当然地纳入同一个审计视图。
使用历史视图提供按请求查看网关、用户、模型和词元的细节,适合用来解释费用归属。若多个业务应用共用同一个调用身份,用户维度并不会自动还原业务部门。要衡量单次工单或单次审批的成本,仍需要把调用与应用侧的任务标识和最终状态关联起来,避免把失败重试算作额外的成功交付。
发布说明把网关工具接入留在预览阶段,Snowsight里不写SQL就能看失败率、延迟和工具调用的分析面板也仍是预览。推理指南另将Responses接口列为预览,且不保存会话状态。综合使用指南仍保留开放预览标记,因此正式范围应按11月3日发布说明逐项确认,不能用产品名称替所有子功能背书。
共享预算可以把带有同一标签的一组用户放在一起核算,达到阈值时发送通知,或调用团队自行配置的存储过程。预算是周期性评估的。费用管理指南给出的延迟可达6.5小时,启用低延迟选项后仍可达一小时。因此,预算告警适合追踪团队总量和提醒负责人介入,不适合承诺在阈值处即时停机。
个人配额按每个用户单独计算,不共享余额。配置限额并生效后,网关会在达到限制时拦截该用户的新请求;评估以分钟计,并非在每次请求到达前即时核账。已经在途的网关请求会继续完成并计费。对短时间集中提交的大任务,负责人要预留这段窗口内可能增加的消耗,而不是把配额数值当作最终账单上限。
举例来说,财务和客服共用网关时,可以按部门设预算,再给批量处理账号设个人配额。验收应分别验证通知是否有人处理、拦截多久生效,以及已开始的请求怎样计费。这个示例是上线检查方法,不代表某家客户已经取得同样效果,也没有把费用归集等同于成本下降。
这次更新最值得借用的,是把接入授权、调用归因和止损动作当成三项独立验收。先挑一个流量可控的应用,记录迁移前后的调用和费用归属,再演练越权和超额。对必须严格限制单批费用的任务,还应在应用提交前限制批次和并发。网关让责任更容易查清,但预算何时提醒、系统何时停手,仍要分别设计。
