论文多到审稿人来不及逐项核对，能写代码、跑实验的AI智能体开始反过来审查AI研究。8月13日，Hugging Face公布ICML 2026开放复现挑战结果：1221名参与者在19天内提交6816份实验日志，覆盖2226篇论文和35908项主张。51%的受检论文至少有一项主张被独立验证，23%至少有一项被推翻或出现争议。

19天重跑三分之一会议论文，过程比结论更重要

这场挑战不是让大模型读完摘要后投票。组织者先索引6341篇ICML 2026接收论文并提取可检查的核心主张，参与者再自带Claude Code、Codex、Cursor等编码智能体，获取论文、复现说明和目标，实际编写代码、启动计算任务并发布结果。每次运行都会生成静态日志册，包含文字分析、代码、产物以及可选的完整执行轨迹。

最终共有2962个云端任务被启动，274份完整智能体轨迹数据集公开。无法获得原始数据或权重时，团队可用性质相近的合成数据做缩小版验证，但必须标成“玩具规模”，不能冒充完整复现。开放记录让第三方能追查智能体做过什么，也把科研复现从一段结论变成可继续检查的过程。

51%得到支持，23%出现反例或争议

按论文聚合后，1103篇至少有一项主张通过真实实验验证，其中266篇所有抽取主张都获验证，另有632篇获得部分验证且没有主张被推翻；被确认的单项主张共3978项。另一侧，496篇至少有一项主张被判定为推翻或有争议，其中49篇没有任何主张得到验证，242篇甚至出现不同团队对同一主张给出相反结论。

剩余结果处在灰区：502篇只有缩小规模证据，280篇无法形成判断，缺少数据、代码或检查点是最常见原因。数字说明“可复现”不是一个简单开关。同一论文可能同时包含可靠结果、边界不清的结论和无法取得材料的实验；多个智能体跑出相反答案，也不等于其中一方必然发现了论文错误。

个案更能体现价值。有论文的理论使用一种KL散度，公开代码默认值却实现另一种，复现团队也未得到论文宣称的4个百分点提升；作者随后上传澄清版本。另一篇论文的评测中约66%标签位置是容易预测的结束符填充，修正后，原先“缓存减半仅损失3.1%质量”变为约9.4%。这类问题很难靠阅读摘要发现，却适合代码智能体批量追踪。

智能体也会制造“错误的打假”

挑战采用GLM-5.2驱动的自动裁判重新阅读每份日志，按主张给出已验证、被推翻、玩具规模或无法判断四类结果，并被明确要求不信任参与者的自我评价。这提升了统一性，却没有消除模型裁判的偏差。参与者也不是随机抽样：他们自己选择论文、工具和计算预算，难度高、材料缺失的研究更可能被放弃或只能缩小验证。

官方还记录了智能体自身的失败。它们会出现算术错误、单位不一致、提前停止实验，或没有跑到理论现象真正出现的尺度。一份日志曾声称论文方法比基线慢两倍，后来发现把单条轨迹耗时与一整批样本耗时直接比较。最可靠的结果往往来自人类持续调整方向、质疑假设并决定实验是否值得继续。

因此，23%不能被写成“近四分之一ICML论文造假”，51%也不是论文质量合格率。挑战检验的是被选中的主张和具体复现尝试，自动裁判结果仍需作者回应、独立团队复查和更完整实验确认。它提供的是异常筛查和证据导航，不是学术裁决。

科研智能体的第一份稳定工作，可能是做审计员

这次实验最值得产业团队关注的，不是某个智能体能否独立“做科学家”，而是它能否把昂贵、重复、容易被忽略的验证工作并行化。公开代码、固定环境、实验产物和执行轨迹开始成为论文可信度的一部分。缺少材料的研究会更快暴露，能被多支团队反复重跑的结果则更容易积累可信证据。

ATYUN认为，科研智能体短期最现实的角色不是替代审稿人，而是成为审稿人的证据助理：批量提取可检验主张、重跑公开实验、标出矛盾，再把高风险案例交给人类。真正的进步标准也不应是生成了多少日志，而是错误复现率能否下降、作者回应能否纳入记录，以及结论能否由独立团队稳定重现。智能体让复现第一次拥有会议级规模，但可信科学仍要靠可审计流程和人的判断共同完成。