27B小模型指挥GPT-5.5,Faraday把论文复现做成训练场

2026年08月25日 由 ATYUN编辑部 发表 879 0
紧凑研究判断模块调用大型编码设备,复现天气、材料和蛋白研究结果
原创示意图:小型研究判断模块调用大型编码工具完成跨学科论文复现,画面并非 Inherent 实验现场。

AI科学家的下一步,不一定是直接宣布一个新发现,也可能先把别人已经做过的实验重新做对。Inherent推出的Faraday走了这条更克制的路线:一个270亿参数模型不亲自包办代码,而是把GPT-5.5 Codex当成工具,决定该验证什么、怎样缩小实验、何时换方向。团队报告称,它在论文图表复现任务上领先Claude Opus 4.8和Codex本身。

任务不是摘要:系统要在结果图被遮去后,读论文、写代码、运行实验并重建图表。
小模型负责判断:Faraday在上层规划和监督,把更大的编码Agent作为可重复调用的执行工具。
结论有边界:领先发生在团队自建Replica评测上,尚无独立复现,也没有证明系统能发现新科学。

310个任务,把“论文没写清楚的部分”变成训练信号

Replica从100篇机器学习和AI for Science论文中生成310个任务,其中242个用于训练,68个留作跨领域测试。每个任务遮去一张结果图,只留下论文、图注和计算环境。Agent要在60分钟内,使用七分之一块H200 GPU的MIG切片完成尽可能忠实的复现;完整实验跑不动时,还要设计不改变核心结论的缩小版本。

这比回答“论文讲了什么”难得多。正式论文通常压缩了大量失败实验、超参数选择和工程判断,复现者必须从不完整描述中补回步骤,又不能为了图形相似而硬编码结果。团队因此把图表外观、科学主张、实验实现、资源使用和科研诚信写成五类评分规则,让奖励覆盖过程而不仅是最后一张图。

真正的新意:把强模型降级成工具,而不是顶层大脑

Faraday由Qwen3.6-27B后训练而来,顶层Harness只有读写文件、搜索、补丁和Shell等少量工具。需要编码时,它通过命令行调用Codex,可以延续会话、重置上下文或并行开启多个执行实例。也就是说,较小模型负责研究方向与质量判断,更强的编码模型负责把方案落成代码。

这种分工对企业Agent同样有启发。最大的通用模型未必必须坐在每条工作流的最高层;经过特定任务训练的监督模型,可以掌握组织真正关心的验收标准,再把数据库查询、代码修改或报告生成交给不同工具。价值不在“以小博大”的口号,而在把领域判断与通用执行解耦,让能力可以替换,质量标准可以单独改进。

73%与60%怎么读:优势存在,但不是碾压

在训练分布内的机器学习任务上,Faraday相对Claude和Codex的胜出比例为73%;转到未参与训练的AI for Science任务后,胜出比例降到60%。测试集平均得分比Claude高6%、比Codex高8%。论文的主图按每个任务8次运行的均值比较,说明结果不是单次演示,但60%也意味着约四成任务并未占优。

评分仍是最需要警惕的环节。任务、训练方法和评测由同一团队设计;Claude Opus 4.7生成细则,GPT-5.5 Codex担任评分者,而Codex同时也是参赛基线和Faraday调用的工具。团队用20名研究人员给出的117组排序校准评分,规则裁判与人的一致性高于简单裁判,但“裁判更稳定”不等于评测已经获得第三方独立验证。

编辑判断:AI科研先交付可复核过程,再谈自动发现

Faraday尚未证明AI能够自主发现新定律。它复现的是既有论文中的结果图,任务又集中在可用代码和算力完成的计算研究;湿实验、长期观测、仪器误差与跨团队协作并未被覆盖。团队也没有给出完整成本对比,模型权重、公开接口和可供外部直接运行的全套任务资产仍需进一步观察。

ATYUN认为,这项工作的价值恰在于没有跳过“把已有结果做对”这一关。对科研机构,论文复现可以成为更可靠的Agent验收场;对企业FDE团队,方法可以迁移为一条实用原则:先把人工经验写成逐任务规则,用生产失败持续补充训练和回归集,再让强模型执行。只有当外部团队能在新论文、新工具和相同预算下复现优势,Faraday才会从有趣的研究原型,走向可信的科研基础设施。

文章来源:AI Agent
欢迎关注ATYUN官方公众号
商务合作及内容投稿请联系邮箱:bd@atyun.com
评论 登录
热门职位
Maluuba
20000~40000/月
Cisco
25000~30000/月 深圳市
PilotAILabs
30000~60000/年 深圳市
写评论取消
回复取消