AI 审稿已经不是概念验证,而是生产规模的现实——但审稿人自己靠不靠谱,一直缺一份系统体检。剑桥大学与 Flatiron 研究所等机构的五位研究者做了件较真的事:把 30 篇真实 arXiv 论文当考卷,人为埋进 357 个分级错误,让 12 个 AI 审稿系统来抓错。这篇论文已被 NeurIPS 2026 接收(https://arxiv.org/abs/2611.17052),以下数字均为论文实测口径。

考试怎么设计

两套语料各 15 篇:天体物理卷取自 2026 年 4 月 22 日的 astro-ph 提交,机器学习卷取自 7 月 15 日的 cs.LG 分层抽样,两个日期都晚于所有参评模型的知识截止,杜绝「背过考卷」。错误分四类——通用问题、数学、数值、引用——各设三档严重度,由 agent 直接修改论文 LaTeX 源码,通过机械校验器后才算注入成功。裁决交给 Anthropic、OpenAI、Google 三家模型组成的跨家族评审组做多数表决,干净副本则单独测假阳性。

换模型比换架构管用

同一句「请以期刊审稿人口吻写审稿报告」,GPT-5.5、Claude Opus 4.7、Gemini 3.1 Pro 在天体物理卷的总检出率分别是 60.5%、36.7%、11.9%,差出 48.6 个百分点;机器学习卷为 63.9%、43.9%、11.1%。把多智能体审稿系统 Skepthical 的全套操作指令压成 978 行结构化提示后,弱模型被大幅拉起:Gemini 提升 25.4 到 40.0 个点,Claude 提升 16.6 到 28.3 个点。头部配置对轻微档注入也能检出 57% 到 73%,弱配置连公然错误也大量漏掉。

工具只有强制执行才会被用

Claude Code 与 Skepthical 同样握有 arXiv 访问权,但执行轨迹显示 Claude Code 从未真的去取引用文献;Skepthical 把检索设为必经步骤后,天体物理卷引用错误检出率 46.7%,其余系统至多 26.7%。同一模型、同一沙箱下,仅把一句话提示换成结构化指令,Claude Code 总检出率在天体物理卷提升 32.2 个点、机器学习卷 38.9 个点——结构化配置写了 21 个 Python 校验脚本,自由配置一个都没写。

两个意外

其一,在审稿数据上微调的两个开源权重审稿器,在主场机器学习卷分别只检出 1.7% 与 2.8%,几乎交白卷。其二,数学类举报格外不可靠:前沿系统汇总后,天体物理卷 30%、机器学习卷 67% 的数学标记被裁决为误报,约占总假阳性的一半。假阳性整体可控:除两个开源权重审稿器外,所有系统在天体物理卷都低于 9%;Skepthical 两卷分别为 2.8% 与 4.0%。

数字之外

成绩上限也没多高:Skepthical 在天体物理卷检出 70.6%,仍漏掉约三成;机器学习卷上单模型结构化 GPT-5.5 反而以 81.1% 领先,差异不显著。论文也自我打折:Skepthical 用了三家供应商的模型,并非等成本对照,优势不能全归功于管线设计。成本侧,托管系统单篇 0.34 到 2.41 美元:Skepthical 单篇 2.41 美元、约 24 分钟,单模型结构化配置 0.55 美元、约 2 分钟。评测管线、注入错误目录与全部裁决日志已在 GitHub 开源(https://github.com/inigozubeldia/skepthical-benchmark)。

所以呢

急着上线 AI 审稿的会议与期刊,这份基准给了直接可抄的作业:先跑埋错体检再上线,选对模型比调架构重要,假阳性要单独报告——数学标记尤其不可信。对所有 agent 落地场景,结论同样成立:把验证做成可选项,agent 就永远不选;做成不可绕过的步骤,它才开始真的「读」文献。