
AI科学家的下一步,不一定是直接宣布一个新发现,也可能先把别人已经做过的实验重新做对。Inherent推出的Faraday走了这条更克制的路线:一个270亿参数模型不亲自包办代码,而是把GPT-5.5 Codex当成工具,决定该验证什么、怎样缩小实验、何时换方向。团队报告称,它在论文图表复现任务上领先Claude Opus 4.8和Codex本身。
Replica从100篇机器学习和AI for Science论文中生成310个任务,其中242个用于训练,68个留作跨领域测试。每个任务遮去一张结果图,只留下论文、图注和计算环境。Agent要在60分钟内,使用七分之一块H200 GPU的MIG切片完成尽可能忠实的复现;完整实验跑不动时,还要设计不改变核心结论的缩小版本。
这比回答“论文讲了什么”难得多。正式论文通常压缩了大量失败实验、超参数选择和工程判断,复现者必须从不完整描述中补回步骤,又不能为了图形相似而硬编码结果。团队因此把图表外观、科学主张、实验实现、资源使用和科研诚信写成五类评分规则,让奖励覆盖过程而不仅是最后一张图。
Faraday由Qwen3.6-27B后训练而来,顶层Harness只有读写文件、搜索、补丁和Shell等少量工具。需要编码时,它通过命令行调用Codex,可以延续会话、重置上下文或并行开启多个执行实例。也就是说,较小模型负责研究方向与质量判断,更强的编码模型负责把方案落成代码。
这种分工对企业Agent同样有启发。最大的通用模型未必必须坐在每条工作流的最高层;经过特定任务训练的监督模型,可以掌握组织真正关心的验收标准,再把数据库查询、代码修改或报告生成交给不同工具。价值不在“以小博大”的口号,而在把领域判断与通用执行解耦,让能力可以替换,质量标准可以单独改进。
在训练分布内的机器学习任务上,Faraday相对Claude和Codex的胜出比例为73%;转到未参与训练的AI for Science任务后,胜出比例降到60%。测试集平均得分比Claude高6%、比Codex高8%。论文的主图按每个任务8次运行的均值比较,说明结果不是单次演示,但60%也意味着约四成任务并未占优。
评分仍是最需要警惕的环节。任务、训练方法和评测由同一团队设计;Claude Opus 4.7生成细则,GPT-5.5 Codex担任评分者,而Codex同时也是参赛基线和Faraday调用的工具。团队用20名研究人员给出的117组排序校准评分,规则裁判与人的一致性高于简单裁判,但“裁判更稳定”不等于评测已经获得第三方独立验证。
Faraday尚未证明AI能够自主发现新定律。它复现的是既有论文中的结果图,任务又集中在可用代码和算力完成的计算研究;湿实验、长期观测、仪器误差与跨团队协作并未被覆盖。团队也没有给出完整成本对比,模型权重、公开接口和可供外部直接运行的全套任务资产仍需进一步观察。
ATYUN认为,这项工作的价值恰在于没有跳过“把已有结果做对”这一关。对科研机构,论文复现可以成为更可靠的Agent验收场;对企业FDE团队,方法可以迁移为一条实用原则:先把人工经验写成逐任务规则,用生产失败持续补充训练和回归集,再让强模型执行。只有当外部团队能在新论文、新工具和相同预算下复现优势,Faraday才会从有趣的研究原型,走向可信的科研基础设施。
