本地跑大模型的人都在算同一笔账:每生成一个 token,得从内存里读多少字节的权重。英特尔(Intel Corporation)团队 11 月 10 日挂到 arXiv 上的论文换了个花招——不把模型整体压到 4 位,而是按 8 位存,每一步先用高 4 位解码,只有当这一步“看起来不确定”时,才用完整的 8 位重算一次。arXiv:2611.14418
结论先摆出来:回放数据很漂亮,实测 150 题却分不出高下。
一份 4 位底子、8 位兜底的账
做法比想象中朴素。Transformer 块里的每个线性权重(query、key、value、output、gate、up、down)用 round-to-nearest 量化到非对称的 8 位网格,每 64 个连续输入权重共享一个 scale 和 offset。“高版本”把 8 位全部反量化,“低版本”只保留每个码字的高 4 位,用被丢掉那一格的 midpoint 重建。两种精度读同一份存储字节,不必为低版本多存一份权重。embedding 表和输出头维持 bf16。
要强调这是模拟:反量化后的权重就是 bf16 张量,矩阵乘也跑 bf16,没有打包 kernel,所以论文没测任何加速比,所有成本都按“每 token 读的权重字节”计算。
回放里,这个门控几乎像作弊
门控信号只有两个,都来自低版本那一步自己的输出分布:softmax 的熵,以及最大和次大 logit 的差。阈值在 32 道训练题上校准,熵阈值取 1.55、1.16、0.76、0.31 nats,margin 阈值取 0.25、0.50、1.25、2.88。
回放分析把 150 道题全部 36724 步的 all-high 轨迹喂回去,在每个位置补跑一次低版本,记下熵、margin、高低分布之间的 KL,以及两个 argmax 是否一致。结果是:平均 KL 只有 0.0203 nats,3.79% 的步骤会翻转 argmax。熵在预测翻转上的 AUC 是 0.928(区间 0.924 到 0.932),margin 是 0.959(0.956 到 0.962),随机门控按构造是 0.5。
在 15% 的升位预算下,熵门控抓到 78% 的翻转和 59% 的 KL 质量,margin 门控是 94% 和 55%,随机门控按期望只能抓 15%,而按真实 KL 排序的 oracle 拿到 84% 和 85%。单看这组数,门控几乎像作弊。
还有一个更狠的细节:一个自由运行的 all-low 生成,通常在第 2 个 token 就跟 all-high 分道扬镳(开始偏离的位置中位数是 2),而那个偏离点的熵在全部步骤里的分位是 87%。所以门控要救的其实是开场那几个 token。
实测 150 题:门控没站住
但真正要答题的是实跑。all-high 在 150 道题上 64.0%,all-low 55.3%,差 8.7 个点(区间 -16.7 到 -0.7),McNemar 检验 p=0.053——连“全低精度更差”这件事本身在这个样本量上都只是勉强显著。
实际升位率 15.7% 的熵门控(ent2)拿到 62.7%,成本是 all-high 字节数的 0.874。配对差对 all-high 是 -1.3 个点(-8.0 到 +5.3),对 all-low 是 +7.3 个点(+0.0 到 +14.7,p=0.080),区间下界正好落在 +0.0。
margin 门控 mar2 看起来更好,66.0%、字节 0.868,对 all-high 配对差 +2.0(-5.3 到 +9.3),对 all-low +10.7(+2.7 到 +18.7),p=0.017。但论文自己把这口气按住了:这是八组“门控 vs all-low”比较里的一组,没做多重比较校正,而且 mar2 是十个配置里分数最高的那个,估值本身被抬高。
这个样本量根本分不出高下
150 道配对题里,26 题是 all-high 对而 all-low 错,13 题反过来,不一致比例 0.26;论文拿这个比例当参照,算出 95% 配对差的半宽约 8.2 个点。想让一个“吃回一半差距”(4.3 个点)的门控能和 all-low 分开,半宽得压到 4.3 以下,需要大约 532 道题。回放那 36724 步虽然紧得多,但它测的是单步一致性,不产出任务准确率。
字节账本:输出头才是大头
表 2 的数字值得单独看。块权重 440.4M 参数,8 位版每次读 467.9 MB,4 位版 247.7 MB;但输出头是 155.6M 参数的 bf16,每次读 311.2 MB,和块几乎一样大。于是整个前向,all-high 是 779.1 MB,all-low 是 558.9 MB,比值 0.717,而单看块只有 0.529。头占一次高精读取的 40%、一次低精读取的 56%。
更直接的后果是:升位率拉到三成的 ent3 和 mar3,实际读取的字节分别是 all-high 的 1.027 和 1.014 倍。论文说得很直白:这种门控形式下,把三分之一的步骤升位,在字节模型里无论准确率如何都是亏的。反过来看,实跑里 16% 升位率的那个门控省下了 13% 的字节——不过论文强调,这个数字还没算上任何实现成本。
另一条路:验证式投机解码更划算
同一个字节模型里,验证式投机解码(k=4)每 token 只需 all-high 的 0.845 倍字节,KL 为 0,每轮产出 4.58 个 token。熵门控在 15% 预算下是 0.867 倍字节、KL 0.0084 nats。字节数接近,零 KL 显然优于正 KL。
论文的结论是有条件的:当目标模型跑得起验证、且提案接受率接近这里观测到的水平时,验证方案是更好的选择。门控的好处只在于不需要提案块和回滚,而这套字节模型把这两项成本都算成了零。
论文自己承认的坑
没跑的东西列得很清楚:实跑的随机对照组、Qwen3 思考模式的相位门控(“思考段走低、答案段走高”)、实跑 KL、1.7B 模型、第二个基准。另外权重是纯模拟的 round-to-nearest,没有校准数据、没有离群值处理——论文说,像 GPTQ、AWQ 这类调优过的 4 位方法会把高低差距缩小,门控可发挥的空间也就更小。
所以呢
这篇论文的价值在于它老老实实报了一个没结果的结论,还把字节账算得很细。对本地部署的人有两个直接的教训。第一,4 位并不是线性省:0.6B 这个尺寸上输出头跟块权重差不多大,真正的大头可能在你没量化的地方。第二,“能预测分歧”和“能提升任务准确率”是两件事——回放里 AUC 0.93 的信号,到了 150 道题的实跑里就成了噪声。
如果你真打算把不确定性门控做进自己的运行时,先补上那个没跑的实时随机对照组。在门控和随机之间没有实测对照之前,字节模型里的漂亮曲线只能算假设。