
长任务Agent的账单,不全来自解决问题,也可能来自反复整理自己的历史。LangChain在10月13日公布ScaleDown接入,把摘要、工具结果压缩和字段抽取拆为独立中间件,主模型仍负责规划与产出。新变化不是让一个小模型接管整个任务,而是让上下文维护成为可以单独配置、追踪和回退的工序。
快速看点:专用模型处理窄任务,主Agent继续运行;工具压缩可以按本次问题选择信息;调用失败时恢复原文本并继续,不意味着任务成本被锁定,也不等于敏感资料无需审查即可发送。
持续运行的Agent会积累网页、文件和工具输出。每一次后续调用都可能重新携带这些内容,模型既要做任务,也要决定哪些历史可以缩短。若把所有维护步骤都交给主模型,成本、响应时间与任务状态便难以分开观察,出错后也不容易判断是哪一层丢了信息。
ScaleDown提供面向摘要、压缩、抽取和分类的专用能力。接入包让这些工作放在LangChain或Deep Agents的运行链路中,按配置在相应阶段处理文本。主模型没有被替换,规划、代码编写或业务回答仍由原Agent承担,辅助模型承担的是边界较窄的上下文任务。
这种拆分的价值,是给实施团队一个独立的比较对象:维护步骤有没有减少后续输入、是否增加额外调用、有没有破坏任务完成。它并不天然比原方案更便宜,尤其短任务可能还未产生足够长的历史,就先付出了额外处理开销。
摘要中间件在历史达到设定条件后工作,同时保留指定范围的近期消息。团队可以决定触发点和保留量,而不是每轮都把旧记录强行缩短。摘要应保留任务意图、关键结果和后续步骤,但是否完整仍需通过实际任务检查,不能因为输出更短就默认它更好。
工具结果压缩则针对刚返回的内容。Agent可以附带一个说明“这次需要什么”的参数,中间件将其移除后调用原工具,再筛选返回内容。公告还说明,模型可在需要时不带压缩条件重新取完整内容。这样原有工具不用因压缩而重写,读取全文也有回退入口。
字段抽取面向订单号、错误信息、问题类型等结构化记录,与概括一段文本不同。字段附带位置或置信信息,有助于回查,但不应直接替代业务校验。例如订单号格式正确,仍需确认它属于当前用户;情绪标签有分值,也不说明可以自动结束一个支持请求。
公开代码采用继续运行式回退:服务不可达、额度不足或请求被拒绝时,Agent保留原内容并记录警告。这对辅助压缩功能有意义,因为它不应轻易拖垮主任务。但回到长文本后,后续费用、上下文占用与超时风险可能重新上升,所以还需要总预算和可见告警。
这个回退方式也不能直接挪用到授权或安全检查。压缩失败可以不压缩,权限检查失败却不应该被解释成允许执行。中间件属于哪一种责任,决定了异常时该继续、降级还是停止;把所有故障都处理成“主Agent继续跑”,会掩盖重要边界。
包运行在应用中,但会把需要处理的文本发送到ScaleDown的API。有没有额外遥测,与是否存在第三方内容处理,是两件事。接入内部文档、客户请求或工具返回前,仍要核对发送范围、凭据管理和敏感字段,不应把本地中间件误当成全程本地推理。
LangSmith LLM Gateway已公布支持该服务,可把相关调用纳入追踪、费用与限流。与此同时,公开仓库的安装说明存在首个包发行提示,采用者应核对实际版本与依赖条件,不把“代码已公开”理解为成熟稳定版已覆盖所有环境。本次也不把供应商速度与价格倍数写成企业任务收益。
上下文缩短只有在任务仍能正确完成时才有价值。评测应专门检查被删掉的错误信息、文件位置、业务限制和长流程中的早期要求,同时比较是否更多重读全文、是否增加重试或人工介入。单次压缩比例很高,也可能被后续补读抵消,不能据此计算总体ROI。
值得尝试的顺序,是先在可回退的窄场景中固定任务集,比较原流程与中间件流程的完成率、总token、延迟和费用,再逐步扩大范围。把维护能力做成独立工序,有利于替换和观察;保留原始证据、限制失败成本并检查信息损失,才是让长任务更稳的关键。
