推理模型的「无效思考」:55% 的 CoT 步骤对答案概率毫无影响

Chain-of-Thought(思维链)已经成为推理时计算 scaling 的主流范式,DeepMind 的 Co-Scientist、OpenAI 的 o 系列、智谱的 GLM-Z 推理增强版本,几乎都在堆叠 CoT 的长度来换精度。但 arXiv 最新论文 **"Beyond the Commitment Boundary: Probing Epiphenomenal Chain-of-Thought in Large Reasoning Models"**(arXiv:2606.13603)撕开了这层表象——大量看起来在「深思熟虑」的推理步骤,其实对最终答案概率毫无影响。 作者用 early-exit 估计每一步 CoT 的因果重要性,发现推理过程存在一个 sharp 的 **commitment boundary(承诺边界)**:模型从瞬态的中间猜测,突然切换到稳定的高置信答案,而这个切换往往只发生在**一个步骤**之内,远早于推理块结束。边界之后跟着的,是大段 **epiphenomenal(副现象)CoT**——继续写、继续解释、继续「自我核对」,但最终 token 的概率分布几乎纹丝不动。换句话说,模型在「自言自语」。 更妙的是,作者用 attention probe 就能从中间隐藏态线性解码出「答案已经形成」这件事,并且这个 probe 能稳健泛化到未见过的任务。基于这个信号做 early-exit,**CoT 长度平均可以砍掉 55%,性能几乎不掉**。这意味着推理模型的 token 预算至少有一半是浪费的。 这件事的意义不只是省钱。它改变了我们理解推理模型的范式:长 CoT ≠ 真正在思考,而是「先想出答案,再写一段听起来像思考的解释」。对 R1/o3 类模型的 RLHF 训练目标、早退调度策略、以及 agent 的工具调用规划,都给出了非常具体的优化方向——下次有人告诉你「这个推理模型能写 3000 token 的思考过程」,可以先问一下:那 3000 token 里到底有多少是 commitment boundary 之后的「空转」?