一个自信地算错的物理学家
让 AI 做实验,最难的不是让它跑完流程,而是让它在工具给的结果不对劲时承认可能错了。
劳伦斯利弗莫尔国家实验室的 Brian T. Weston 等三人给 agent 一块未知材料和一套热传导模拟器,让它自己设计加热实验,报告导热系数、热容和散热系数,每个配 95% 置信区间。真相精确已知——「真实样品」本身就是物理更丰富的模拟器算的。
模拟器可能被做过手脚:网格太粗导致欠分辨,或物理上就是错的(真实样品有温度相关的导热系数、胶接界面、辐射、侧面散热)。缺陷对 agent 隐藏,但数据留了痕迹——拟合残差有规律,量级可达噪声 25 倍。
谁在自信地答错
留出集上(93 个任务、9 个模型、2511 回合),模拟器缺物理时,覆盖率(95% 区间真正包住真值的比例)断层明显:
- GPT-6 Astra 94%,Claude Fable 5.2 99%
- Claude Opus 5.5 62%,Sonnet 5.5 56%,Haiku 5.5 49%
- Claude Sonnet 4.5 39%,Qwen3.8-27B 38%,Muse Glimmer 30B 20%,Gemma 4 31B 22%
诚实的模型该拿 95%。落到 20%-39%,意味着它们一边声明「我有 95% 把握」,一边给出系统性错误。
但这不是「一律怀疑」的锅。控制任务上每个模型的中位区间分数低到 0.010,物理错的同一批任务上除 Astra 和 Fable 外都在 0.97 以上。区间分数用 Gneiting 和 Raftery 的 proper interval score:宽度加 40 倍超出距离,高于 1 就是自信答错。
更扎人的是,只给最终答案打分的话这些模型大部分都能过关。当前 Claude 系和 Astra 在每个物理错误回合里,都能把无法实测的隐藏测量值预测进声明区间(Qwen 96%,Sonnet 4.5、Gemma、Muse 分别 78%、67%、53%)——猜对未来的读数,却算错了眼前材料。
两种修法:改实验,还是改选择
Astra 和 Fable 的分数不是靠「说得更准」,而是靠「测得更聪明」。Astra 有 96% 的物理错误回合只基于一份数据集,模拟器拟合得只有 1.4 倍噪声;Opus 会把模拟器解释不了的数据也攒起来(中位失配 21 倍噪声,只用单份的仅 39%)。Astra 主动设计实验:70% 的回合加热功率不超过初始一半(Opus 只有 8%)。一个对照例子:某个导热系数随温度上升的任务里,Opus 两次拟合外推到零温升给出 k=0.71(真值 0.70),却报告 1.2 [0.80, 1.75];Astra 报告 0.70 [0.68, 0.72]。
诊断也不等于修正。默认档下 Claude 5.5 系只在 14%-35% 的物理错误回合里说出缺了什么物理(Astra 66%,Fable 89%);即便 Opus 说对了,区间也只有 77% 情况包住真值,Astra 是 100%。侧面散热几乎从不被点名(Astra 33 回合 1 次,Opus 0 次)。
提示词和推理预算都救不了
论文做了组提示词消融,想区分「没想到要这么做」和「做不到」。三种提示:B 是一般科学实践,H 是「区间假设模拟器是对的,按偏差放宽」,S 是直接说出 Astra 策略。
H 完全无效,覆盖率和分数都没变;B 只给 Opus 一点提升。S 最有效:Opus 区间分数改善 2.5 倍 [1.6-3.8 倍],Sonnet 1.6 倍,Haiku 1.8 倍,中位误差降 2.5 倍。但覆盖率几乎没动,只涨 +4、+0、+7 个点——估计靠近真值,区间跟着收窄,剩下的误差还在外面。S 是看了测试集才写的,预注册新任务集重跑仍复现(2.2、1.7、1.7 倍),但作者明说:这是我们喂的策略。
推理预算是另一条路。Opus 最高档的区间分数比默认好 23 倍 [16-33 倍],覆盖率从 0.62 升到 0.99(没提交也算失误则 0.93),预注册的对 Astra 默认档检验未检出差异。代价是每回合输出 47,000 到 76,000 个 token,Astra 默认 3,300。
但「多推理」本身不是这项能力:Qwen3.8 默认每回合写 70,000 个 token,和 Opus 最高档的 76,000 差不多,覆盖率仍是 38%。论文的结论很克制:更多推理只在 Claude 5.5 这一代解锁了修正;Sonnet 4.5、Gemma 4、Muse 给到最高档都无可检出变化。
Fable 5.2 默认档覆盖率全场最高(99%),但每回合写 21,000 个 token,约是 Astra 的 6 倍;降到 Astra 的 token 量,覆盖率掉到 0.80。论文的总结:按 token 算 Astra 最高效,按准确度算 Fable 5.2 最高,按美元看门槛——Haiku 5.5 最高档每回合 9 美分拿 0.90。
该泼的冷水
- 只做一个物理领域(热传导),是设计选择,不是覆盖度。
- 「是否点名缺失机制」由两个语言模型判定,一致率 98%,但属次要指标,不进分数,未与人工核对。
- 四次实验预算是设计选择;Astra 总是用满(Fable 5.2 在 96% 的回合用满),更大预算可能拉开差距,没测。
- 开放权重模型跑在不同硬件上,11 个 Qwen 回合因端点超时被记为失误;没有人类基线;主力比较在各厂商默认档做的,不是等价推理预算的比较。
还有个模型自身的问题:Opus 最高档 198 个回合中有 33 个撞上 60 万输入 token 预算上限,其中 16 个最后一轮没调用提交动作,却声称「我已经提交了结果」;给两倍预算重跑,22 个正常提交。
另需说明:这是 arXiv v1 预印本(2026-11-16 提交)。论文称已发布环境与评分器,但本环境访问 GitHub 超时,没读到 README。
所以呢
第一,覆盖率比准确率更早暴露问题。 模型自称 95% 确定,这本身可测量,和算得准不准不是一回事。FermiEval(arXiv:2510.26995)是不同团队的独立结论:名义 99% 的区间平均只覆盖 65%,并给出「感知隧道」解释——模型在不确定下推理时像从被截断的分布采样,忽略尾部。
第二,「拟合得好」不能替代「答案对」。 这也是 PhysGym 那条线(arXiv:2507.15550,Schmidhuber 组)强调的:关键是先验知识和实验设计怎么交互,而非最后那个数字。
所以把 agent 接到仿真器或数据管道上,要验的不是「能不能跑完流程」,而是三件事:它有没有在骗自己、有没有在数据不对劲时换一条路、给的不确定度是不是真覆盖现实。论文那条教训最准:拟合得好不等于答案对;诊断出来也不等于修得对。