量化前给模型选权重格式,int8、fp8 还是 int4,每个组合都跑一遍任务评测太慢。行业里的便宜办法是:用模型未量化时的 Fisher 信息算一个预测值 ½ΔᵀFΔ,直接估出量化后会掉多少 KL 散度。这条二阶展开正是 GPTQ、HAQ 这一脉量化器的地基,几乎每个推理框架都在用。少有人追问的是——这个数本身可信吗?
这篇论文 做了一件很少见的事:把每个预测、每条判据、每个文件校验和都在跑之前冻结,然后公开一份"账本",逐条记下哪个预测成立、哪个没成立。作者是图宾根大学的 Dezhen Lu 与西安交通大学的 Zixiang Ni,五个模型、三种量化方案,全部跑在 GH200 上。
排序靠得住,绝对值靠不住
先说好消息。"相对预测成立"是真的:扰动强度从 1/8 扫到 1、跨 16 倍范围,实测 KL 与预测值的比值 R 始终在 0.99 到 1.05 之间;int4 换 group size 32、64、256,用 128 校准出来的预测落在 0.96 到 1.01;随机舍入让 KL 涨了 2.25 倍,预测说的是 2.28 倍。用来给格式排序,这把尺子相当稳。
坏消息是那个绝对值。每条序列的二次型是重尾分布:前 5% 的序列贡献了高达 24% 的预测量,尾部指数 1.7 到 2.4,已经贴着无穷方差。同一个模型换三套采样规则,普通平均算出的 R 分别是 0.85 到 0.88、0.66 到 0.70、0.56 到 0.58,差了三成。论文的解法是改用 5% 截尾平均,在 Qwen3-4B 和 OLMo-2 上 12 个格子里有 10 个落进实测 ±15%。
bf16 反传能把预测算歪四倍
论文还复现了别人报告过的一个 4.2 倍高估,原样跑通:预测比实测高 4.04 到 4.52 倍。原因不在模型,在反传的数值——少数序列的 bf16 早期层梯度会逐元素爆掉,有一条冲到 fp32 值的 1237 到 1582 倍,平方之后把均值整个拽偏。定位下来是残差流梯度、越往输入层越大。把反向传播下半段换成 fp32,底部误差降到全 bf16 时的 0.017;只换上半段则仍是 0.96。
32B 的 int4 上,对角形式整段失效
到了 Qwen3-32B,int8 和 fp8 还行,int4 不行:实测 KL 是预测值的 5.18 倍。逐序列看,对角形式对 int4 的排序相关系数只有 0.09,基本等于没排。改用张量块形式能救回一部分,缺口位置也很具体:最后一层的 down projection 一个张量就扛下 99%,它的块形式是对角形式的 32 倍;再往下,这个张量 25,600 个输入列里有两列贡献了 96% 的列块项。同样四比特换成随机舍入,该张量的 KL 掉了 15 倍。
混合专家模型是另一套玩法:响应干脆不是二次的,int8 的 KL 随扰动强度按 α 的 0.63 次幂走,专家路由翻转的比例从四分之一量程时的 6.6% 涨到满量程的 11.7%。结果反过来了,扰动越小预测越糟,截尾后的 int8 在满量程是预测值的 4.1 倍,四分之一量程是 27 倍。论文的 MoE 预注册测试因密集对照失败,结论照实标成不确定。
先问噪声底,再谈差异
论文测出引擎本身有个噪声底:只要归约顺序变了(换 kernel 选型、两路或四路张量并行、batch-invariant 对默认 kernel),每条序列就差 0.17 到 0.22 nats。跨引擎、跨配置测出来的 KL,低于 0.2 nats 基本分辨不出来,除非把 kernel 选择钉死;钉死就得用 batch-invariant kernel,代价是吞吐掉到 0.55 倍,teacher-forced 场景掉到 0.81 倍。这个机制在 Thinking Machines Lab 那篇推理不确定性分析里有更完整展开,另一份独立研究也测到 bf16 虽被普遍使用,数值方差却显著高于 fp16 与 fp32。
按自己的结论造了个筛查器
论文最后交付了一个筛查器:一次流式 fp32 Fisher 前向反向,每条序列 1.88 秒(单张 GH200,256 条序列、三种格式、224 个张量共 8.0 分钟),输出的不是单个数而是一个 0.75 到 1.50 的区间,外加一个"对齐张量"标记和逐层格式分配。在完全没参与前面分析的 Mistral-7B-v0.3 上,6 个格子的实测全部落在区间内,比值 1.03 到 1.12,三个 KL 预算全部达标,vLLM 吞吐预测误差 0.4%,而"直接选最接近的单一格式"这个基线要差 0.7 到 4.5%。整个预注册测试花了 0.77 个 GPU 小时。
值得抄的是它的诚实
账本里也记着失手。校准集只有 8 条序列时,混合配置的实测/预测比是 1.20 到 1.41,256 条才降到 1.06 到 1.08,作者管这叫"优化者的诅咒",因为分配器会优先把块项大的层挑走。LAMBADA 准确率上,int4 是 73.2%,int8 是 75.0%,bf16 是 74.8%,三个预算档位落在 74.5% 到 74.7%。吞吐收益也不大:int4 比 bf16 快 17%,int8 只快 3%,三个预算档位分别快 8%、5%、4%。那条"吞吐预测误差在 10% 以内"的判据在这个工作点上根本没区分出胜负,因为三个统一格式的吞吐本来就都在混合配置的 10% 以内。论文自己写明:这 10% 容忍度没有起到判别作用。
所以呢
给量化学服务的工程师,这份工作的用法很清楚:这把尺子用来排序,别用来算预算;真要报绝对数,先做 5% 截尾,梯度用 fp32,再拿强度扫描确认扰动没跑出二次区;32B 这个尺寸值得单独查一遍张量块形式,因为那里对角近似是整段失效,而不是慢慢变差。
真正稀缺的不是这个结论,是它的做法:先把判据写死、留好校验和,再把不成立的预测原样发表出来。精度研究里最贵的从来不是结论,而是没人愿意复现的那次测量。