线性注意力模型这几年最大的卖点，是把 Transformer 的 key-value 缓存换成一个固定大小的递归状态：上下文再长，状态也不膨胀，但每条并发序列都要占一份它。状态越小，同一张卡上的并发就越高——这是长上下文推理共同的底层账本。
麻烦在于这个状态要被反复读、反复写。每生成一个 token 就降精度舍入一次，误差会像复利一样往里堆。现有状态量化方案的结论很悲观：4 bit 会掉点，除非加宽或重训。论文 PACE: Periodic and Channel-Aligned Encoding of Four-Bit Recurrent States（Haller、Laitenberger、Akbik，10 月 21 日挂 arXiv）想证明的是：不用重训，4 bit 也能站住。
第一个杠杆：不是每步都舍入
PACE 是 post-hoc 量化器。借鉴 prefill 分块 kernel——prefill 本来就每读完一个 chunk 才处理一次状态——它把解码时的舍入周期拉长：每 8 个 token 舍入一次，中间 token 暂存在一个小的 decode buffer，flush 时推进去再重新量化。
Qwen3.5-9B 上，全精度状态的 GSM8K/IFEval/RULER-32k 平均分是 91.0；压到 4 bit、常驻 4.60 bit/value、每 token 都舍入时掉到 78.1；每 8 个 token 一次（常驻 5.28 bit）回到 82.9；每 32 个 token 一次是 85.6。Qwen3.5-4B 是同一条曲线：88.7、76.7、84.1、86.0。
也就是说，INT4 的主要损失不是位宽不够，而是"每步都舍入"太频繁。
第二个杠杆：大值是按列长的
gated-delta 状态里的大数值成列聚集，因为每个 token 写入的 delta value 中总有少数通道会持续偏大。作者用对照实验印证——这些通道在每个 token 上被置换后，大值就不再构成列。既然按列聚集，量化 scale 就该在同一列内共享，即沿 key 轴而非 value 轴。
同为 5.28 bit 常驻、g=32 分组，沿 value 轴的 WikiText-103 困惑度 8.158，沿 key 轴 7.719——全精度 7.713；同表 Q-Mamba 的 DSQ 是 8.320。再叠加 head 级精度分配，4B 困惑度 7.687，IFEval 81.52，高于 DAMP INT4 的 79.48。
实测对比与代价
评测覆盖 Qwen3.5-4B/9B/27B 与 Qwen3.6-35B-A3B。作者报告：混合 4/8 位宽的 PACE-4/8 在三个较大骨干上与 8-bit DAMP 相当，常驻内存约为其三分之二；全 4-bit 的 PACE-4 在同等常驻位宽下每个骨干都高于 Q-Mamba DSQ。速度上单张 H100 PCIe，batch 16 起周期式 INT4 解码的 TPOT 已低于逐 token 的 bf16。
所以呢
量化损失的主要来源是舍入频率，不是位宽——这个结论对所有递归状态类架构都成立，包括 gated linear attention、Mamba-2、DeltaNet 的分块形式。对做长上下文服务的人，这是不改模型、不重训、只改解码策略的吞吐路径。