8B 级开源模型答推理题,现在有个默认姿势:先写一长串思考链再给答案。爱丁堡 Heriot-Watt 大学团队的新论文(https://arxiv.org/abs/2611.24598)把这笔账重算了一遍:LLaMA 3.1 8B 在 25 个推理任务上直答平均 46 分,开 CoT 拉到 69,代价是每题约 197 个生成 token;Qwen 2.5 7B 是 52 分、77 分、245 个 token。不写链子,只在生成前把直答提示的最后一个隐状态朝一个方向旋转一次,两个模型的平均分分别冲到 85 和 86,每题只花 19 个 token。

先给思考链的隐状态贴标签

做法分两步。第一步,把 CoT 过程里每个 token 的隐状态单独取出来,移植到同一题直答提示的末位:移植后模型答对了,这个状态记为 recovering,答错记为 failed。在 LLaMA 3.1 8B 上平均只有 17% 的 CoT 状态能救回答案,Qwen 2.5 7B 是 28%。一个线性探针就能把两类分开:25 个任务平均 AUROC 达 0.84(LLaMA,区间 0.71 到 0.92)与 0.80(Qwen,区间 0.52 到 0.93)。直答几乎全错的 Multistep Arithmetic 任务上(直答正确率 0.4%),探针仍有 0.88。探针还跨任务迁移:600 对任务组合里 587 对高于随机,同类型任务之间迁移更突出(LLaMA 0.71,不同类型 0.65)。作者由此判断,模型对这两类状态的编码本身就不一样。

造一个方向,旋转一次

第二步,对每道题求 recovering 状态均值与 failed 状态均值,用前者减去 0.5 倍后者,归一化后得到这题专属的「解题方向」,再用 SLERP 把直答提示最后一个隐状态朝它旋转一次,范数保持不变,位置在 LLaMA 第 29 层、Qwen 第 25 层。两个均值隔得并不远(平均夹角 27 度,Qwen 21 度),所以论文扫了权重:failed 均值的系数从 0 加到 0.5,准确率一路升到顶,加到 0.75 反而回落——离 failed 远了,也偏离了 recovering。结果:LLaMA 直答 46 提到 85,Qwen 从 52 到 86,分别压过各自 CoT 的 69 和 77,比直答高 39 和 34 分。25 个任务里,方向在 24 个(LLaMA)和 19 个(Qwen)任务上压过 CoT,Qwen 输的几个里有三个是 CoT 本来就 90 分往上的强项。两组对照说明这不是玄学:朝 failed 均值方向旋转,准确率掉到 9 和 16;换成全任务共享的平均方向,准确率原地踏步(46 与 50)。方向是每题专属的,平均掉就失效。

三个反直觉点

一是 CoT 反而拖后腿的任务,方向照样涨分:Movie Recommendation、Ruin Names 两个任务上 CoT 比直答还低,加方向后仍比直答高 22 到 36 分。二是长度自适应:答案能从题目里读出的任务,模型 3 到 5 个 token 就作答;要计算的任务自动写短步骤,GSM8K 上 39 个 token 对 CoT 的 179,Qwen 上是 52 对 248,Multistep Arithmetic 两模型分别是 55 对 140、66 对 260。三是 CoT 和直答都答错的题,方向还能救回 64%(LLaMA)与 70%(Qwen)。Qwen 上探针最弱的一档(Causal Judgement,AUROC 0.52),方向也把它抬到 86 分。论文图 1 的例子:一道多步算术题,直答错成 -40,CoT 自己也错成 80,旋转后的直答写下四行短步骤给出 48;另一道 GSM8K 题直答错成 121,旋转后写出「$21+$50=$71」。

机制不是孤证

「模型内部算的比说出来的多」这条机制线,有独立团队的工作佐证:Orgad 等人(https://arxiv.org/abs/2410.02707)发现模型内部表征对输出真假编码的信息远超此前认识;Deng 等人(https://arxiv.org/abs/2405.14838)则证明显式思考链可以逐步内化,不生成链子也能推。需要说明,本篇全部分数是论文自报的实测值,没有第三方复现。

冷水也得泼

方向的构造依赖这道题自己的 CoT 和 patch 标签,拿到新题就没法直接用:论文试过训一个回归器从直答直接预测方向,准确率停在直答水平。实验只覆盖 7B 和 8B 两个指令微调模型,任务是短答案、可自动判分的那一类,干预也只做在尾部三层、直答末位一个位置。另外这是同团队的延续工作:前作(EMNLP 2026 Findings)只在 GSM8K 上做过 patching 分析,本篇是它的扩展,不是独立复现。代码仓库已放出(https://github.com/hmehrafarin/hidden-state-directions)。

论文的落点很直白:按他们的实测,CoT 不是通往这个准确率的最短路径,收集到的「题目-方向」数据对,可以拿去训练直接预测方向的模型。真到那天,推理账单上思考链那一项,理论上有九成可省。你觉得这是把思考链蒸馏进了权重,还是又一次只在 7B 档位成立的漂亮实验?