Quanta 长文复盘 LRM 推理真相:30%–60% 思维链步骤对答案几乎无因果影响
当 OpenAI 在 2026 年 5 月用通用推理模型一举解决困扰数学界多年的单位距离猜想时,"AI 真的会推理"这件事看上去已经盖棺定论。但 Quanta Magazine 7 月 31 日刊出的长文《Is AI Reasoning Right for the Wrong Reasons?》把这种乐观拆开重审,结论直白:LRM(Large Reasoning Model,大型推理模型)的"思维链"很可能只是模型对自己的一种喃喃自语,并不忠实反映内部运算。原文
一、核心数据:30%–60% 的步骤可被裁掉而答案几乎不变
文章援引 2025 年东北大学(Northeastern University)与加州大学伯克利分校(UC Berkeley)联合发表的一篇 arXiv 论文——他们对开源前沿 LRM 在数学基准题上的"思考步骤"做了因果分析,发现 30%–60% 的思考步骤对最终答案"几乎没有因果影响"。换句话说,把这些步骤随机删掉,模型在数学题上的成绩几乎不动。
该论文作者之一 Weiyan Shi 接受 Quanta 采访时直言:"我们审阅这些思维链提示时要小心,因为它们可能与最终输出并没有真正的因果联系。"
二、三位关键人物的判断
文章围绕三个学术权威的判断展开:
- Melanie Mitchell(圣塔菲研究所):她的三句话总结最常被引用——"第一,它有效,确实提升了准确率;第二,模型生成的那串文本不一定忠实反映模型内部在做什么;第三,这些文本很多时候甚至没用,你完全可以把它们删掉。"
- Subbarao Kambhampati(亚利桑那州立大学,前 AAAI 主席):他的实验室 2025 年证明,把模型正确的"推理轨迹"完全替换成错误或无关文本,模型在形式推理任务上的表现并不会下降;反之,只用正确轨迹训练,模型仍会生成与自身推理不一致的记录。他在 2026 年 ICML 提交了立场论文,标题很直白——"Stop Anthropomorphizing Intermediate Tokens as Reasoning/Thinking Traces!"(停止把中间 token 拟人化成推理/思考轨迹)。
- William Merrill(芝加哥丰田技术研究所):作为 2024 年那篇"用乱码点号代替思维链仍能工作"的 NYU 论文作者之一,他的判断更狠——"我们完全没有理由认为思维链必须是有意义的。"
三、机制猜测:思维链不是"步骤"而是"上下文填充"
Kambhampati 给出的工作假说是:LRM 本质上仍是 LLM,只是被训练得更专精。所谓"思维链"的作用不是把"一步推一步"的过程讲清楚,而是给模型的上下文窗口塞进足够多"看起来像推理"的 token,让它更有可能在概率空间中"近似检索"出推理形态的答案。把它比作自言自语帮自己回忆——只要把话头抖出来,词具体是什么反而无所谓。Pavel Izmailov(NYU,也在 Anthropic 推理模型团队)补充说,RL 训练并没有真正激励模型产出"忠实"的思维链,"有可能以后会,但我会说概率不高。"
这个解释能兼容 LRM 在 IMO 金牌、ARC-AGI 等"可验证领域"的成功——代码能跑、证明可对,二值信号天然适合给 LRM 当训练奖励。它并不需要真的学会通用推理过程,只要见过足够多"推理的样子"并学会模仿。
四、反方意见
OpenAI 的 Sébastien Bubeck 反驳说,2025 年 Apple 那篇《Illusion of Thinking》暴露的问题源于已过时的训练技巧,"从 GPT-5.5 开始的现代模型不会再有这个问题"。文章同时承认,每位受访学者都指出:关于小尺寸开源 LRM 的负面结论不一定能外推到最新闭源产品,因为这些产品的内部机制仍是商业秘密。
五、评论:别再把"思考"当成可审计的证据
Mitchell 的反问值得整个行业记住:"你想让 AI 因为正确的理由给出正确的答案,这样你才能信任它。"这才是 LRM 真正应该被审视的尺度——不是说它"没用",而是说它的"过程"目前不是一种可解释、可追责、可审计的证据。
对工程团队来说,这意味着:
- 不要把 LRM 的思维链直接当成审计日志。它能解释答案的概率并不高。
- 可验证领域的成绩(数学、代码)不能外推到开放推理。代码能跑≠一般推理可信。
- 可解释性研究值得更多投入。Mitchell 多次强调,对 AlphaFold 那种"黑盒但有效"我们可以接受,但如果 LRM 要进入科研、医疗、法律等高风险场景,"对的理由 + 对的答案"才是可用的标准。
来源:Quanta Magazine 长文、Northeastern & UC Berkeley arXiv 论文、Kambhampati 立场论文、Merrill NYU 论文。