生产Agent故障不用逐条翻,Braintrust上线三件套

2026年09月04日 由 ATYUN编辑部 发表 845 0
实体轨迹纸带在质量分析台上被归类并标记故障证据的示意图
原创示意图:生产Agent的可观测工作从大批轨迹中发现重复模式,再回到单条执行证据验证原因。

生产Agent最麻烦的故障,往往不是一次明确的报错,而是偶尔选错工具、反复重试、上下文越滚越长,最后还给出一段看似正常的回答。工程师若逐条翻阅几十次模型与工具调用,很难在流量扩大后保持速度。Braintrust于9月3日发布Patterns、Debugger和增强版Loop,试图把“发现异常—解释原因—建立评测—持续监控”接成一条可回看、可审批的改进链。

Patterns找重复:定时扫描生产轨迹,只保存能够附带证据的 recurring behavior。
Debugger查单次:沿 span、工具调用和模型输出提出可检验的故障假设。
Loop把发现接回动作:可建数据集、评分器和监控,但写入默认需要人工批准。

可观测性开始回答“为什么反复发生”

传统看板擅长展示延迟、错误率和Token成本,却要求团队先知道该查询什么。Patterns采用定时Loop自动化,先按设定时间窗查询项目数据,再缩小到值得检查的轨迹。一个发现只有能附上支持它的原始轨迹时,才会被记录为pattern;新证据指向已有问题时,系统更新原条目,而不是制造重复告警。

每个pattern包含行为描述、影响、证据和建议动作,既可识别无进展的重复工具调用,也可发现客户正在意外采用的新工作流。团队还可把摘要推送到Slack,保留“有用”或“噪声”的人工反馈。具名预览用户Tolan称,这套方式让团队更快理解技术问题根因,但官方没有披露样本、基线和具体幅度,不能据此推算普遍效率收益。

Debugger把长轨迹压成可核对的故障假设

当团队已经知道某次运行失败,Debugger会读取span、工具参数与结果、模型输入输出,列出可能的故障模式、潜在根因、严重程度和下一步。证据项可以跳回对应span与具体字段,工程师不必从头滚动整条轨迹。它也能把长轨迹整理成实际完成的工作段,帮助判断系统究竟做了什么。

这里最重要的边界来自Braintrust自己的文档:Debugger给出的是“带证据的起始假设”,不是最终裁决。复杂Agent可能同时受到权限、外部服务、提示词、模型随机性和工具实现影响;若团队把模型生成的解释直接写进事故结论,就只是用第二个Agent替代了人工误判。

Loop把调查、评测和监控留在同一项目

Loop可以跨日志、实验和数据集运行SQL或代码,寻找反例,把真实故障整理成数据集与评分器,再比较修复前后的质量、延迟和成本。团队也能创建周期任务,固定时间窗和查询范围,按日或按周复查某类故障,将结果发送到Slack或webhook。公开MCP还允许Codex、Claude Code、Cursor等工具在代码侧调用同一批调查与评测能力。

交互式线程中,所有创建或修改对象的动作默认暂停等待批准;定时任务无人在线,则依赖预先配置的写工具权限。Loop不能跨组织读取数据,不能修改组织设置,也不能直接改应用代码或部署。用户若开启自动接受,提示词、评分器、在线评分规则等生产对象可能在没有逐项确认时变化,因此最小权限和变更审计不能省略。

小编判断:先证明证据链,再追求自动修复

这次发布的价值,不是给可观测平台再加一个聊天框,而是让生产证据能够进入数据集、评测、版本比较和监控。FDE团队适合先选择一种高频且可回放的失败,例如工具重试或任务提前终止,记录人工归因耗时、pattern命中率、误报率、修复后的复发率和每次调查成本,再决定是否扩大自动化。

ATYUN观点:Patterns、Debugger与Loop目前都处于公开预览,定价将在正式可用前公布,功能和成本边界仍可能变化。更稳妥的部署顺序是只读分析、人工确认、离线评测、受控写入,最后才考虑周期自动动作。能否让每个结论回到原始轨迹、让每次修改进入批准与回滚流程,比系统能生成多少诊断更重要。Agent改进闭环可以自动化,生产责任不能外包。

文章来源:AI Agent
欢迎关注ATYUN官方公众号
商务合作及内容投稿请联系邮箱:bd@atyun.com
评论 登录
热门职位
Maluuba
20000~40000/月
Cisco
25000~30000/月 深圳市
PilotAILabs
30000~60000/年 深圳市
写评论取消
回复取消