我们越来越习惯让大模型把思考过程写在"思维链"里,然后看最终答案。但一个很自然的问题一直被回避:模型在某一步到底"用了几分力"?是平均分给了整段推理,还是在某一步突然把绝大部分算力花进去了?

最近 arXiv 上出现了一篇标题很直接的工作——How Hard Does It Think? Analyzing Step-Aware Reasoning Energy in LLM Chain-of-Thought Trajectories(arXiv:2607.28642,Wei、Huang、Han、McAuley 等,2026 年 7 月 28 日提交)。作者没有再做一份榜单,而是把目光转向了模型内部。

为什么之前看不清

作者先指出,过去给 LLM 推理"算账"的方法其实都很粗:

  • 输出层面(token logprob、熵、self-consistency 等)只能告诉你答案像不像,而不是推理花没花心思。
  • 把整条 CoT 折成一个 trajectory-level 标量(trajectory entropy、reasoning consistency 这一类),又把粒度压得太狠,看不出哪一步在耗算力。

结果就是"step-wise effort opaque"——每一步到底消耗了多少推理资源,一直是黑箱。

SARE 的核心做法

SARE,全称 Step-Aware Reasoning Energy。它不靠任何输出置信度,而是用了一个几何度量:对相邻 transformer 层之间 token hidden states 的 Gram 矩阵做 Centered Kernel Alignment(CKA)。CKA 衡量的是两组表征的"形状相似度",而不用对齐特征向量、不需要 cluster 对应,这是它相对 Procrustes / RSA 这类对齐方法更省事的地方。

作者把这段能量再嵌到 CoT 的语义推进里:把整条链式思维建模为"潜在语义状态之间的转移",于是"在某一步某个状态上花了多少能量"就变成一个可以观察的量。

论文在六个基准、三个开源模型上发现的几件事(原文措辞)

  • 能量极不均匀,且有 phase-like 转折:同一条 CoT 里,不同 step type 的能量差异很大,而且有些步骤之间出现了"相位跃迁"般的切换——这种切换在 trajectory-level 指标里是看不到的。
  • 错误路径在关键节点能量偏低:把答对的轨迹和答错的轨迹并排看,错误轨迹在 critical reasoning junction 上的能量系统性低于正确轨迹。换句话说,"用力不到位"和"答错"之间有可观察的相关性,而这个相关性藏在模型内部,不是外部答案能告诉你的。
  • SARE 信号能当预测特征:基于 SARE 构造的特征,在多数设定下与 output-based confidence 基线相比"匹配甚至更优"——这说明模型内部的几何动态,的确编码了超出"自信度"的预测信息。注:作者用的措辞是"match or outperform in most settings",本文严格沿用其限定语,没有把它夸大成"首次"或"最佳"。

模型侧选了三个开源权重 LLM,基准侧覆盖了 6 个推理任务——但具体是哪些模型、哪些基准,本文不替作者补全,以摘要口径为准。

它跟产业界的"思考预算"研究差在哪

产业里 Anthropic 已经在 Claude 上把 thinking effort / medium effort 做成产品级旋钮。它的逻辑是:在用户入口处显式声明"我愿意花多少算力"——这是 input → budget → output 的因果链。

SARE 走的是相反方向:不告诉模型要怎么用算力,而是事后从模型的隐藏状态里读出来"它实际用了多少"。两者合在一起看,很有意思:

  • 前者是"控制预算",关心怎么少花;
  • 后者是"审计预算",关心怎么看出它实际花了多少。

如果 SARE 这类方法的鲁棒性在更大模型、更多分布外任务上都被验证,可能带来三件事:

  1. 推理服务的"按推理强度计费"比今天更可信——因为你不再只能靠输出长度这种粗信号。
  2. 失败 case 的归因多了一条路:不再是"模型答错了",而是"模型在该用力的节点偷懒了",这种差距有可能成为下一次训练改进的方向。
  3. 与已有的 interpretability / mechanistic interpretability 工作结合,可以逐步还原"思维链里哪几步真正在算题、哪几步在做表演"——这是 Quanta 那篇报道里指出却未能解释的事(参考 Solidot 41521 / Quanta "Is AI Reasoning Right for the Wrong Reasons?"),SARE 提供了一种可以测量的角度。

还差在哪

本文要严格保留两点限制:

  • 文章只描述了"方法 + 现象",没有给出它能否用来做"砍掉低能量步骤以节省算力"这类下游应用的实证;这一步还要靠后续工作验证。
  • "match or outperform in most settings"是论文自己的限定语,本文不替作者把"多数设定下"替换为"全面"或"广泛成立"。

从这个角度看,SARE 真正有意思的地方,不是又一个 benchmark 数字,而是它把"推理是不是在偷懒"这件事,变成了一种可以用几何度量读出来的物理量——这件事过去基本只能靠模型日志和人工抽查。

参考:

  • arXiv:2607.28674,How Hard Does It Think? Analyzing Step-Aware Reasoning Energy in LLM Chain-of-Thought Trajectories,Wei et al.,2026 年 7 月 28 日
    ( https://arxiv.org/abs/2607.28674 )