把 Qwen3-4B-Thinking 压到 4-bit 有多惨?BF16 下它的 AIME25 pass@1 是 0.688,换旋转系经典方法 QuaRot 在 A4W4 设置下跑,直接掉到 0.004——近乎归零。推理模型靠长思维链吃饭:量化的近似误差会沿着自回归解码一步步累积,开头错一点,后面整条推理链跟着崩。所以低比特量化推理模型,一直比量化普通模型难啃;而硬件又在推着大家往低比特走,Hopper/Ada 支持 FP8,Blackwell 进一步支持 FP4,矛盾只会更尖锐。
病根:推理的前 30 步最不稳定
arXiv 2611.09868 的作者做了一个朴素但关键的观察:在 GSM8K、AIME25 这类推理任务上,模型生成思维链时,前 30 个解码步的平均激活标准差比非思考解码高约 20%;通道级离群值在第 1 步从浅层贯穿到深层,到第 400 步已明显减弱。而常规校准流程喂的是普通文本,根本覆盖不到这种“开局剧烈波动”的分布——校准集与部署分布错位,是推理模型量化崩盘的第一个病根。
药方:四个组件加一个查表 kernel
CodeQuant2 是一套聚类式 LUT 量化框架,四个组件各管一段:
- 旋转+缩放抑制离群值:共享正交旋转矩阵配层级对角缩放,经 Cayley 变换保持正交性,只作用于 QKV、gate、up 投影;
- 自适应簇分配(ACA):候选簇数 K∈{8,16,32},用一阶近似的重要性分数判断哪个矩阵该加容量,再拿实测 LUT 延迟当预算约束——敏感矩阵给 32 簇,不敏感的降到 8 簇,平均指派索引宽度保持在 4-bit;
- 可学习聚类:K-means 初始化后冻结硬指派,用低秩(LoRA 式)更新学软指派,温度退火逐渐变硬;
- 推理感知校准(RAC):让全精度模型在 GSM8K 训练集上先生成 256 个 token,再与 WikiText2 按 9:1 混合,校准序列截断或补齐到 512 token,让校准集里真有“推理开头的激活”。
推理侧则是把解码期矩阵乘法改写成查表:4-bit 激活层级与权重质心的乘积预计算成查找表,常驻 SM 的 shared memory;激活的 min/max 计算、量化、位打包融合成一次读取,并针对解码期 batch 并行有限的问题调整 tile 尺寸。
疗效:崩盘项拉回来,速度还快了
Qwen3-4B-Thinking 在 A4W4 下,六项任务平均分从 CodeQuant 的 0.664 提到 0.770(BF16 为 0.838),论文口径是 10.6 个百分点;最崩的 AIME25 pass@1 从 0.392 拉回 0.563,pass@8 从 0.500 到 0.800;LiveCodeBench 比 CodeQuant 高 15 个百分点。消融很干净:四个组件分别贡献 +4.00、+3.64、+1.94、+1.08,没有一个凑数。系统侧,在 A6000、L40s、A100 三块卡上对比 BF16 平均提速 2.42 倍,最高 2.85 倍,A6000 上 batch 16 仍有 2.28 倍。整套流程单张 H100 就能跑,三段微调各需约 30、15、30 分钟。
当然收益不均匀:Qwen3-8B 和 Phi-4-Reasoning 上的提升温和得多,8B 的 AIME25 pass@1 只从 0.446 到 0.479。模型越大、任务越不极端,量化修复的边际收益越小,这个规律没变。
所以呢
这篇论文最值得带走的不是某个数字,而是一个方法论转向:量化校准集应该长得像你的部署负载。跑推理负载,就用推理开头的 token 做校准;跑普通对话,普通文本就够。另一个启示是 ACA 的思路——码本容量是精度-延迟的预算问题,不是精度最大化问题:8 簇换 47 token/s,32 簇只剩 33,自适应分配拿到 44,几乎吃到 16 簇档的速度还换来更高的分。给每个矩阵发对工资,比全员涨薪划算。论文:https://arxiv.org/abs/2611.09868