同一批题、同一套权重,只把推理引擎里缓存的混合模型状态从 FP32 换成 bf16,Qwen3.5-9B 在 590 道竞赛数学题上的准确率就从 85.6% 掉到 70.8%。变的不是权重精度,也不是模型能力,而是每个解码步都要重写一遍的状态缓存精度——而多数人根本不会注意到它。

一篇新论文把这个效应在六个开源混合推理模型上做了成对测量(arXiv:2611.12127,论文页、HTML 全文)。Mamba-2、Gated DeltaNet 这类循环混合器在每步解码时读出状态、更新、再写回缓存;引擎用 FP32 算、却按缓存 dtype 存,于是每次写回都是一次舍入,而舍入偏差会在长推理链上一致地累积。

六个模型,五个变长

论文用 590 道题(MATH-500,加上 AIME 2024、AIME 2025 与 HMMT 2025 年 2 月各 30 道)做 FP32 与 bf16 的逐题配对对比。结果是六个模型里五个输出变长,长度比从 1.070 倍到 1.265 倍不等,撞 32K token 上限的次数全部上升。伤害集中在 Qwen3.5-9B 上:上限命中从 118 次涨到 223 次,准确率 85.6% 掉到 70.8%。LiveCodeBench 上 Nemotron-Nano-9B-v2 与 Qwen3.5-9B 同样变长,pass@1 分别掉了 12.6 和 13.4 个点。贪心解码下结论不变,所以这不是采样噪声。

更有意思的是损失落在哪里。Qwen3.5-9B 掉的分几乎全部来自那些撞上限的样本——两边都跑完的题,准确率没有差别。但只统计"两边都跑完"的样本,结论会反过来:在 LiveCodeBench 上,Nemotron-Nano-9B-v2 里 bf16 跑完的样本 pass@1 反而更高(85.1% 对 65.0%)。这种选择性偏差足以让一轮评测把 bf16 判成赢家。

加大预算只能救一半

论文把被截断的题在 128K 预算下重跑。Qwen3.5-9B 的整体准确率差距从 14.7 分收窄到 6.9 分(93.6% 对 86.6%),却没有抹平:128K 下仍跑不完的样本,bf16 有 93 个、FP32 只有 44 个,其中 85% 是原样重复的循环。bf16 实际造成两种失败——一种是多花 token 但最终答对,另一种是彻底卡死。Nemotron-Nano-9B-v2 属于前一种:31 个只在 bf16 下撞上限的题里,30 个在 128K 下能跑完,代价主要是 token 而非答案。

同位宽随机舍入能救回来

如果问题只是精度不够,换更高位宽应该有用。论文的答案相反:在同样 16 位宽度下改用随机舍入(SR),五个受影响模型里四个的长度增幅消失,Qwen3.5-9B 准确率回到 87.6%。把随机源从 Philox 换成整数哈希后,SR 在 Qwen3.5-9B 上与 FP32 完全对齐(撞上限 113 对 118,准确率都是 85.6%),端到端吞吐 10,393 tok/s 对同一天的 bf16 RTN 跑批 10,163 tok/s——显存不变、速度不变。速度这一点有前提:默认 Philox 的 GDN kernel 只能跑到 RTN 的 30–60%,是整数哈希把吞吐拿了回来。

Nemotron-3 是唯一没救回来的(Flog=0.38,仍残留约 1.05 倍的整体漂移),原因不明。头部定位上,Nemotron-Nano-v2 谱系里只需对 25% 的头(按衰减率划出的中间带)开 SR 就能清掉效应,而按教师强制 KL 占比排第一的那个八分位(占 49% 的 KL 份额)单独开 SR 却测不出效果——精度分配不能只看 KL。

为什么现在值得关心

这不是纯学术问题,引擎默认值就在踩坑。vLLM 0.33 对缺少 mamba_ssm_dtype 字段的配置直接用模型 dtype(通常就是 bf16),而 SGLang 0.5.21 会回落到 FP32;一次微调不小心丢掉这个字段,行为就悄悄变了。NVIDIA 早在 Nemotron 3 Super 的报告里就量化过同类问题——FP16 SSM 缓存把 LiveCodeBench 的完成 token 从 21,769 推到 29,812,冗长度上涨 36.95%,改用随机舍入后落回 21,392(报告)。LeapQuant 则给出另一侧证据:bf16 状态让 Qwen3.5-9B 的 AIME 从 87.9% 掉到 72.1%(论文);vLLM 社区 RFC 也直接指出,--mamba-ssm-cache-dtype 只有 float32、float16、bfloat16 三个选项,bf16 存每步状态会伤害长推理(RFC)。

修法其实已经有了,只是还没铺开:SGLang 的 --enable-mamba-cache-stochastic-rounding 目前要求 --mamba-ssm-dtype float16,bf16 的 SR 补丁尚未进主线(文档)。

结论

这篇论文真正想推的不是一个新的量化方法,而是一条评测纪律:混合模型的评测结果必须同时报告状态 dtype、截断率和输出长度,只报准确率等于没报。一旦部署环境默认把状态缓存降到 bf16,你测出来的就不是模型的真实水平,而是舍入偏差的函数。

留个反问:如果你的线上推理模型为了省显存换过状态缓存精度,最近一次准确率波动排查,纳入了这一项吗?