把本地小模型量化到 4 位省内存,还是让它多跑几遍取平均提分?这像常识题,但两者会互相干扰——量化会改变模型对选项顺序的敏感度,而多跑几遍取平均恰恰是治这个的常规药。11 月 10 日提交到 arXiv 的一篇论文(arXiv:2611.14413)把两者放进同一本账里算,作者来自 Intel。

实验设定:两种省钱手段,四张多选基准

模型是 Qwen3-0.6B 和 Qwen3-1.7B,基准取 ARC-Easy、ARC-Challenge、MMLU 和 HellaSwag,每任务 300 题,每模型合计 1200 题。量化用最朴素的 round-to-nearest(absmax 缩放,每 64 个权重一组 fp16 标度),位宽取 8、6、4、3 比特,fp16 作参照;权重只在内存里模拟舍入,不打包也不跑低比特 kernel,embedding 和 norm 保持 fp16。每题跑 8 种选项顺序:原顺序的 4 个循环移位加反序的 4 个。

成本折算成一个与硬件无关的单位:权重字节数乘前向遍数。8 位一遍 0.516,6 位 0.391,4 位 0.266,3 位 0.203,fp16 是 1。

位宽账:6 比特是甜点,4 比特开始塌

6 比特相对 fp16 不掉点,反而高 1.8 分(0.6B)和 0.9 分(1.7B),但作者明说没找到原因,也不宣称 6 比特能提升模型,只按「不亏」来读。8 比特分别掉 0.7 分和 0.4 分。4 比特开始塌:0.6B 掉 14.3 分,1.7B 掉 5.6 分。3 比特两个模型都趴在随机水平——25.4% 和 26.6%,而四选一随机基线是 25%。

4 比特不只是变笨,它开始按位置答

这是全文最有意思的发现。论文用 slot skew 衡量「答案落在哪个字母槽」偏离均匀分布的程度:0.6B 在 fp16 下是 0.15,1.7B 是 0.07;到 4 比特,0.6B 飙到 0.53,1.7B 是 0.12。具体表现是 4 比特的 0.6B 有 78% 的答案落在 A 槽——它不再是在答题,是在按位置答题,同槽位重复率也从 0.24 升到 0.70。

后果是:正确选项恰好落在它偏爱的槽位时,4 比特模型答得远好于平均,别处则远差于平均,四个 gold 槽的准确率跨度从 fp16 的 0.28 拉大到 0.76。基准跑分把这个偏置稀释掉了,但你自己的问题若答案位置有偏,分数会是另一个数。

作者也做了对照:同等信噪比的高斯噪声扰动权重,0.6B 两次抽样给出 0.15 和 0.37,1.7B 一次给出 0.19。控制实验不确定,没法断定这种位置偏置是「取整」独有的——噪声也能造出来。

换算表:比特怎么折成遍数

论文给出一条可直接抄的规则:预算不低于 0.391 个 fp16 遍,就上 6 比特权重,剩下的预算换成 K = floor(B / 0.391) 个顺序,最多四个,每个跑一遍;预算更低就用 4 比特跑一遍。

对照比分是 2 比 7:10 组等成本配对里,「多跑几个顺序」只在 2 组胜出,且都发生在 8 或 6 比特对 fp16 的对比中;「多给几个比特」在两个模型上各赢 7 组。精度-成本前沿上只有 (3 比特, 1 遍)、(4 比特, 1 遍)和 (6 比特, 1 到 4 遍),fp16 和 8 比特一个都没上榜。

反直觉的换算在这儿:从 4 比特出发,平均 2 个顺序相当于单跑 4.7 比特,平均 4 个相当于 5.6 比特。权重从 4 位提到 5.6 位,字节乘 1.37;跑 4 遍要乘 4。

但有一条批处理例外:同一道题的多个顺序若打包一起算,权重只读一次,4 遍几乎免费,这时 4 比特下平均 4 个顺序能捞回 12.6 分,论文说这幅度不亚于其数据里的任何一项增益。作者的结论直接:「能批处理就该平均」。

顺手被修好的校准

一个论文没重点宣传但实用的副产品:量化模型不只是变笨,还变得过度自信。0.6B 单次作答的期望校准误差(ECE)在 fp16 下是 0.182,4 比特恶化到 0.332;四顺序平均后掉到 0.032 和 0.087。1.7B 是 0.240、0.284 降到 0.084、0.086。

更妙的是「几个顺序之间是否一致」这个无标签信号,比模型自己的置信度更能指示答得对不对:四序答案一致性的 AUROC,fp16 下 0.6B 是 0.70、1.7B 是 0.80,单次 top probability 是 0.69 和 0.78。到 4 比特,单次 top probability 掉到 0.56,顺序一致性却还有 0.65。

这份结论的边界

作者把窟窿列得相当齐。两个模型都来自 Qwen3 一家,0.6B 到 1.7B;Qwen3-4B 没跑,因 fp16 权重约 8 GB,超过了共享 GPU 留出的 6 GB。量化只用最简单的那一种,论文明确不与 GPTQ、AWQ 等具名方法比较。成本单位只数权重字节,忽略激活、KV cache 和反量化开销;论文不报延迟。

还有一处容易漏算的账:tied embedding 和输出矩阵保持 fp16,占 0.6B 权重的 26%、1.7B 的 18%。若引擎每次把整个词表都算 logits,6 比特一遍的真实成本是 0.55 和 0.50,不是 0.391。

样本也偏薄:每任务 300 题,噪声对照只有一两次抽样。更要紧的是脆弱题不跨位宽稳定——fp16 和 4 比特下「哪些题容易翻车」的相关性只有 0.20(0.6B),用 fp16 筛出的脆弱题清单指导量化模型加顺序收益有限。论文提到自己在 Hugging Face Papers 上做标题级检索时没找到把量化和选项顺序放一起量过的先例,也补了一句:这只是单个索引的标题匹配,换了词表述的论文可能存在。

所以呢

这篇论文最有用的不是 12.6 这个数,而是把「省内存」和「加算力」从两个互不相干的工程直觉,变成了一张能算的表。对本地跑小模型的人,答案明确:6 比特权重打底,剩余预算换成 4 个顺序取平均;能批处理的话,4 比特加 4 顺序平均更狠。

更深一层的提醒是,4 比特模型不是「变笨了」,是「变成按位置答了」。拿它跑选择题评测,分数带着系统性的槽位偏置——你测的可能不是模型能力,而是它偏爱哪个字母。

本地小模型还剩多少可用空间,答案可能不在于再压几个比特,而在于你愿不愿意为稳定性多付那几遍前向——以及引擎能不能把它们打包成一次权重读取。