自一致(Self-Consistency)是推理侧最常用的提分手段之一:同一道题采样几十条完整思维链,对最终答案做多数投票。代价也直白——想多一票,就得从头生成一整条新轨迹,token 成本随轨迹条数和长度线性上涨,MATH500 上采 32 条平均每题要烧掉 18335 个 token。

现有的省钱方案几乎都在"条数"上打转:Adaptive Consistency 看答案收敛就提前停,ESC 靠窗口规则早停,DSC 给难题多分预算。它们回答的都是"何时停、采多少条",轨迹本身还是整条整条地生成。新论文 StepBack(arXiv:2611.08403)换了个问法:推理错误往往只出在中间某一步,为什么每条候选都要从头重写?

先定位错在哪一步,再从那里重采

StepBack 的流程分三段。先采 16 条草稿轨迹,按空行切成推理步;再用轻量信号给每条草稿找"第一个可疑步骤",两种信号二选一:一是步级平均负对数似然(NLL)突增超过 0.1,说明模型写这一步时信心骤降;二是外挂过程奖励模型(PRM)的分数下跌超过 0.05,默认用 Qwen2.5-Math-PRM-7B 打分。定位到错步后,保留前面的正确前缀,只重采错误步及其后缀;没检出错误就只重采最后作答那一步。最后照常多数投票,答案预算 16×2=32 与 SC@32 严格对齐。

两个工程细节值得注意:全程零训练,NLL 用的是生成时本来就有的 token 概率,PRM 也只给推理前缀打分;定位开销平均只占整体运行时间的 7%–11%。各后缀可以并行生成,互不依赖前一次重采的结果。

顺带一提,两组阈值(0.1 与 0.05)在全部数据集和模型上共用,没有按数据集调参;留出数据的网格校准显示,阈值在很宽的范围内都能保持不低于 SC@32 的平均精度,同时省 20%–44% 的 token。

7 个基准、3 个模型的账本

实验覆盖 GSM8K、MATH500、AMC2023、AIME24、OlympiadBench 五个数学基准,加 HotpotQA、2WikiMultiHopQA 两个多跳问答,共 4166 题;模型是 Llama-3.2-3B、Qwen2.5-3B、Qwen2.5-7B 三个 Instruct。

结果一句话:同预算下精度打平或略升,token 显著下降。PRM 信号下三个模型平均精度分别 +0.36、+0.17、+0.82 个点,token 省 21.07%、18.66%、22.80%;NLL 信号更省,平均省 27.74%、27.15%、33.32%,精度与 SC@32 的差距不超过 0.2 个点,Qwen-7B 上反而 +0.55。单看最好的一格,Qwen-7B 在 GSM8K 上省了 41.26%,这就是摘要里"up to"的出处。PRM 信号在全部 21 个模型-数据集对上都省了 token(7.66%–41.26%),其中 14 对精度还涨了。

论文还做了一个上界实验:让 LLM 标注器直接给出"真实首个错误步"(oracle 设置),GSM8K 上 8 条草稿×4 后缀能省 64% token,精度从 91.21% 升到 91.89%。也就是说草稿前缀的可复用空间比实用方法实际拿到的大得多,损失主要来自定位不准,而非思路本身。

更香的是能与自适应方法叠加

AC/ESC/DSC 减少候选条数,StepBack 降低每条候选的成本,两者天然正交。实测叠加后,相对单独使用自适应方法,token 在 MATH500、GSM8K、HotpotQA 上分别再降 22%–24%、35%–38%、6%–7%;GSM8K 上六组对比精度全部上升 1.1–2.2 个点。最狠的组合 StepBack+DSC 在 GSM8K 上 token 只有 SC@32 的约五分之一,精度还高 0.9 个点(92.12 对 91.21)。

局限也写得直白:AIME24、OlympiadBench 这类竞赛难题上收益不稳,Llama-3B 有掉分项——有些错误不是重采一段后缀能救的,需要换一条完全不同的解题路径。把 PRM 换成 1.5B 的 Skywork 小模型依然有效,8×4 配置下 +0.36 个点、省 23.8%,说明关键不在评分器多大,而在信号是否指向真错步。

附录里还有一组对照值得看:如果完全不做定位、只重采最后作答一步(final-step 规则),在 HotpotQA 上反而又准又省——前缀复用本身就贡献了大部分 token 节省。定位信号的价值要在后缀样本占投票多数时才显出来:4×8 配置下,PRM 信号比 final-step 重采在七个数据集上平均准 2.06 个点。

所以呢

这篇工作真正的贡献,是把测试时算力的分配粒度从"轨迹级"压到了"步级":此前的方法决定"要不要再采一条",StepBack 决定"这条轨迹值得保留到第几步"。对按 token 计费的推理团队,这是一套当天就能上线的解码策略——不改模型权重、零训练,省下来的就是纯利润。

更值得记住的是那个 64% 的上界:潜在节省与实际拿到手的 20%–40% 之间,差距全是定位误差。步级错误定位每进一步——更轻的信号、更小的 PRM——测试时计算的性价比就再抬一档。

论文与代码:arXiv:2611.08403 · GitHub 仓库