4GB的Jetson Nano卡在容量,8GB的Orin Nano卡在带宽:7B模型fp16要14GB,就算压到4bit,每生成一个token还是要把数GB权重从内存搬一遍。而目前的主流量化格式——GPTQ、AWQ、llama.cpp的K系和I系——都在做同一件浪费的事:给矩阵里每个整数码分配同样多的位数。权重分布是钟形的,中间的码出现得远比两端频繁,4bit字母表的熵明显低于4bit,这块空间一直没被拿走。LazyWeights(arXiv 2611.17108,来自UT Austin与凯斯西储大学团队)就是来吃掉这块空间的。

三步:成形、编码、按需解码

LazyWeights不另起炉灶:文件仍是合法GGUF,原版llama.cpp直接加载,质量完全由量化器决定。它只动三个环节。

成形:在GPTQ里加两个旋钮。一是让子块共享步长(参数γ),不再按子块各自拉满量程,把码赶到高频区;二是把步长整体放大(×1、×1.25、×1.5按点选),熵随步长下降,误差交给GPTQ的误差反馈吸收。

编码:每个矩阵建一棵限长11位的规范哈夫曼码,64×256的tile拆成32条交织流并行解码,4bit格式两个码拼成一个对符号、一步解两个权重。含全部开销后距零阶熵只有1.2–2.1%。

解码:关键是位置。DRAM与L2之间放一个约0.21mm²、1GHz、7nm的解码单元:DRAM只搬编码后的字节,L2收到定宽码,GPU kernel一行不改。为什么必须上硬件?论文实测软件解码比DRAM速率慢15–20倍,同样的码在定宽下跑反而快2.5–3.2倍——解码速度不解决,压缩就是负资产。

论文实测的数字

  • 同困惑度预算(≤1%与≤3.5%,WikiText-2)下,编码后的Phi-3-mini、Mistral-7B、SmolLM-1.7B比同预算最优的llama.cpp格式小5.7–31.4%;上限出现在Mistral-7B≤1%档,5.668降到3.886 bit/权重。哈夫曼本身贡献6.2–20.7%,其余来自量化器成形。
  • Orin上贪心解码每token时间、能耗最多降36%、38%;叠加提示查找投机(草稿来自n-gram表,无草稿模型)后到54%、44%。
  • 4GB Nano上,常驻模型比CPU版llama.cpp每token少58–64%时间、53–57%能耗;放不下的Mistral-7B改流式,3.89 bit/权重下比llama.cpp快6.6倍——这一档还是纯软件解码。
  • 工程可信度给得足:C模型复现17个bundle零失配,Verilator对RTL协同仿真29/29矩阵位级一致,四引擎在AMD ZCU102 FPGA(112.5MHz)上把4.84亿权重全部位精确解出;对比rANS,哈夫曼速率从不更差,同吞吐下rANS配对符号要多4.0倍面积。
  • 下游任务:HellaSwag、ARC-e、PIQA最多比基线低1.5点,GSM8K最多低3.2点(Mistral≤3.5%档)。

论文自己画出的边界

这段比数字更值得读。第一,解码单元的时延与能耗是用实测器件数据加预布局综合推算的,不是流片结果;FPGA验证的是位精确,但跑在FPGA时钟上。第二,没测Llama-3和Qwen3——论文引用他人结论说这两家量化表现更差;长上下文里fp16 KV cache会稀释收益,4K token时每pass 0.54GB,对着3.5GB权重。第三,步长放大非单调:Mistral放大到×1.75困惑度反而+15.5%,所以每个模型都要单独搜一遍,没有万能配方。

所以呢

论文的结论句可以直接抄:定宽是承诺,不是必然。作者把全套都放出来了——MIT协议的代码、设备日志、六个工作点的权重(Hugging Face),GGUF文件直接进原版llama.cpp。对做边缘部署的人来说,「放得下/放不下」这条线是可以用信息论挪动的;论文在相关工作里还点明:BitLLM那类省每码计算的路数,与这里省每码字节数正交,可以叠加。

真正的问题在落地:0.21mm²不大,但它要长在内存控制器旁边,得芯片厂商点头。你愿意为多装一个7B模型,等一个解码单元进下一代边缘SoC吗?