把 LLM 压到 4-bit 以下的难点,从来不在「能不能压」,而在「压完之后能不能跑得快」。当前两条主流路线——基于 Hadamard 旋转的 incoherence processing(QTIP、SpinQuant 等),和基于结构化码本的 trellis-coded quantization(TCQ)——各解决了半个问题:Hadamard 让权重分布更均匀,从而让低比特量化器更容易拟合,但它无法被吸收进相邻算子,必须在推理路径里在线执行,挤占吞吐;Trellis 量化用 Viterbi 搜索 + 状态相关映射提供高维整形能力,代价是每一步都要按状态做反量化,如果每次反量化要算一堆逻辑/算术/数据操作,GPU 的权重消费速度跟不上,带宽红利就被吃光。

Arm 在 arXiv 公开的 XOR-Trellis 论文(arXiv:2610.00432,2026-09-30)同时拆掉了这两堵墙。它没有把 RHT 当成必备前置,而是把「Hadamard 让量化变好」这件事重新解释为:RHT 之所以有效,主要是因为它把权重敏感度的不均匀抹平了,从而让传统的各向同性欧式距离恰好成为了模型感知目标的一个合理近似。换句话说,真正缺的不是 RHT 本身,而是「搜索目标要反映模型敏感度」。论文的核心方法因此是两条独立但互补的设计:

  • XOR-Trellis FP4 解码器:用四组精心设计的局部重建调色板(P0 = [-6,-1.5,0,2]、P1 = [-4,-1,0.5,3]、P2 = [-3,-0.5,1,4]、P3 = [-2,0,1.5,6])配上一个 16-bit 滑动状态,通过四个掩码奇偶函数(0x1089/0x2112/0x0A24/0x2441)XOR 出 p0,p1,q0,q1,前两位选调色板、后两位做分支置换。反量化从「状态→数值」变成「按位 XOR + 小型 FP4 调色板查表」,不再是动态查询或复杂计算函数,而是可以在 GPU/NPU 上高并行执行。论文附录 C.2 证明这四组调色板在固定 FP4 元素、均匀使用四个互斥 4-项调色板、标量平方误差下,是 4-way 重建问题的点对点最优解。
  • 曲率感知 Viterbi 目标:不旋转权重,而是把 LDL 分解 H = LDL⊤ 得到的对角因子 D 直接喂进 Viterbi 的加性失真代价。D 中的大对角项代表「该维量化误差对模型损失更敏感」,搜索过程中给这些位置更高的权重。整个目标在原始坐标空间里计算,完全离线、不修改压缩表示,运行时反量化器零开销。

数字怎么说

论文报告的 Llama-3.1-8B WikiText-2 困惑度(PPL,越低越好):

  • 未旋转的基线 trellis:8.69
  • 启用了 Hadamard 的 QTIP-3INST:8.48
  • XOR-Trellis(曲率感知、无 Hadamard):8.00

也就是说,论文的方法既超过了「加 RHT」的传统方案,又彻底砍掉了在线 Hadamard 这条开销。

跨模型扩展(完整数据见论文附录 B Tables 4–7):

  • Llama-3.2-1B-Instruct:BF16 13.16 → XOR-Trellis(无 RHT + D 加权 + 能量排序)21.38 PPL,零样本平均准确率从基线 46.74% 拉到 51.43%。
  • Llama-3.2-3B-Instruct:零样本平均从 54.03% 拉到 58.18%。
  • Llama-2-13B:5.47 PPL / 65.38% 平均,略胜启用了 Hadamard 的 QTIP-3INST(5.64 / 65.51%)。
  • Mistral-7B:5.67 PPL / 67.95% 平均,大幅优于 QTIP-3INST 的 6.04 / 66.80%。
  • Qwen3-8B:10.25 PPL / 67.75% 平均,同样压过带 RHT 的 QTIP-3INST(11.35 / 67.52%)。

数字的一致性说明这个方法不是某个模型的「幸运调参」,而是实打实的结构改进。

所以呢

XOR-Trellis 的真正卖点不在 PPL 0.5 的提升,而在「Hadamard 是非必要步骤」这件事的正面论证。过去一年,行业围绕 RHT 和 learned rotation(QuaRot、SpinQuant)下了很多赌注,前提是「权重敏感度必须被某种旋转抹平才能压」。这篇论文用「对角 Hessian 加权 + 局部调色板 XOR」把前提打掉了:

  • 对硬件厂商来说,反量化路径上的计算变得可控——XOR + 4 项查表可以在 GPU 上做 SIMD,不再受制于动态计算函数。
  • 对模型侧研究者来说,「Hadamard 必要论」这个隐含假设可以休矣,可以把工程精力放在更难、更缺人的地方(比如激活量化、MoE 量化)。
  • 对 NVIDIA Blackwell/Fp4 GEMM、Rubin block-scaled FP4 这条硬件路线,论文的实验数据提供了软件层 Hadamard-free 的可行性证据,意味着未来 FP4 推理栈可以从「通用权重 → 旋转 → 量化」缩短为「通用权重 → 量化」。

附带的另一个细节是分组格式:论文用 E2M1 元素 + E5M3 block scale,与 NVIDIA Blackwell/Rubin 的 block-scaled FP4 路线对齐——也就是说,论文方法不是一个理论玩具,而是对齐硬件路线的实战版本。

LLM 量化这条赛道从 GPTQ(2022)走到今天,核心问题都是「压缩带来的精度下降,如何不用大代价翻回来」。XOR-Trellis 的贡献是:这条回边的成本,比行业以为的要低得多,而且可以完全在量化侧完成,不用 RHT 这种横跨整个推理图的预处理。下一步要看 Arm、这种 SMFP4 是不是能在 LLM 推理栈里被主流框架(vLLM、TensorRT-LLM、llama.cpp)集成进主路。参考资料:arXiv:2610.00432 全文及附录 B 的 Tables 4–7。